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第 一 章 预备 知识 


$1， 统 计 判 决 的 基本 概念 


四 十 年 代 末期 , A. Wald 提出 了 一 种 观点 , 把 统计 推断 问题 看 
成 是 人 和 自然 的 一 种 “ 博 奕 ”， 这 就 是 对 以 后 的 统计 发 展 起 了 相当 
影响 的 统计 判决 理论 . 从 这 个 理论 看 来 , 本 书 的 主题 一 一 参数 估 
H, 不 过 是 一 种 具有 某 些 特点 的 统计 判决 问题 ， 事 实证 明 , 这 种 观 
点 对 参数 估计 的 发 展 ， 确 实 起 了 一 定 的 推动 作用 .不 过 ， 其 作用 
主要 在 于 它 开拓 了 问题 的 面 ， 而 不 在 于 提供 了 多 少 解决 问题 的 工 
是 | CR s 
为 了 本 书 今后 的 应 用 ， 在 本 节 中 我 们 对 统计 关 决 理论 的 若干 
基本 概念 作 一 个 简要 的 介绍 . | 


—. kitä kam 


为 了 估计 一 个 未 知 参数 , 给 出 一 定 的 估计 量 ; 为 了 检验 某 个 很 
Ut, 使 用 一 定 的 检验 函数 , 等 等 , 它们 都 是 相应 的 统计 问题 的 解 . 一 
般 地 说 , 一 个 统计 问题 的 解 是 所 谓 “ 统 计 关 决 函 数 ". 为 了 定义 统 
计 判 决 函 数 这 一 重要 概念 ， 需 要 对 构成 一 个 统计 判决 问题 的 基本 
要 素 给 以 清楚 的 描述 .这 些 要 素 是 : 样本 空间 和 分 布 族 、 行 动 空间 
以 及 损失 函数 .以 下 逐 点 介绍 . 

1. 样本 空间 和 分 布 族 样本 是 统计 推断 所 供 据 的 原始 资料 
从 理论 上 说 ， 样 本 无 非 就 是 具有 一 定 分 布 ( 至 少 是 部 分 未 知 ) 的 随 
机 变量 . 在 以 后 , 我 们 常常 采用 如 下 的 配套 记 法 : 车 以 对 记 样本 ， 
则 以 z 记 于 的 具体 观察 值 (在 意义 不 致 含混 时 ， 有 时 样本 和 样本 
值 的 记号 不 加 区 分 ), 而 以 笑 记 互 的 一 切 可 能 值 构成 的 集 . 为 在 
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数学 上 处 理 方便 起 见 ， 有 时 必 还 包含 一 些 及 的 值 以 外 的 点 . 例 
如 ,在 一 定 的 问题 中 , X 是 只 取 非 负 值 的 随机 变量 , 但 为 方便 计 ， 
可 以 把 怪 取 为 天 (此 处 及 以 后 ，， zi R Wn AKRAN). 

要 定义 六 的 概率 分 布 ， 需要 给 出 一 个 由 AU 的 某 些 子 集 所 构 
成 的 c- dx. 我 们 常 把 这 个 c- 域 相应 地 记 为 Z. WZ , 可 测 空 间 
(Z, 5;) 就 称 为 (所 讨论 问题 的 ) 样 本 空间 , 在 o- 域 22, 的 意义 明 
确 时 ,我们 也 称 2 为 样本 空间 ， 在 绝 大 多 数 统计 问题 中 , Z 为 有 
限 维 欧 氏 空间 RE" 或 其 一 非 空 Borel 在 这 种 情况 下 , Z: 总 取 
为 和 的 一 切 Borel 子 集 构 成 的 ec- 域 ， 并 称 这 样 的 样本 空间 CA, 

£,) 为 欧 氏 的 我 们 也 党 说 : 变量 X 的 样本 空间 为 (人 2 Ba). 
o 如 上 所 述 , 样本 X 有 一 定 的 概率 分 布 , 这 个 分 布 至 少 是 部 分 
WAY. 观察 了 的 目的 ; ' 在 二 希望 从 样本 观察 秆 wz 得 到 有 关子 
的 分 布 的 信息 ， 这 样 ,我 们 只 能 假定 X 的 分 布 属于 一 定 的 分 布 族 
££. .在 一 定 的 统计 问题 里 ， 乡 假定 是 已 知 的 . 自然 要 提出 一 个 问 
题 : 当 我 们 面临 一 个 统计 问题 时 , 怎样 给 出 2? 对 这 个 在 应 用 上 十 
分 重要 得 大 很 大 程度 上 不 能 由 数学 来 回答 的 问题 ， 我 们 只 能 一 般 
地 说 : 它 有 时 可 根据 所 论 问题 的 专业 理论 知识 来 定 , 有 时 依赖 于 以 
往 积 累 的 经 验资 料 , 而 有 时 不 过 是 一 种 纯粹 假设 , 其 中 考虑 在 数学 
上 处 理 简单 往往 占 重要 地 位 .例如 , 经常 采用 “ 正 态 模型 ”， 在 各 
种 问题 里 , 以 上 三 全 方面 都 可 能 是 一 种 重要 的 因素 —— 

“为 了 标明 分 布 族 乡 中 某 一 确定 的 分 布 ， 可 以 对 多 中 的 每 一 
分 布 赋 予 开 个 标号 ,例如 0. 这样， 也 可 以 把 S» {Ps, EO, 
其 中 @ 为 一 切 标号 集 ， 当 9 跑 遍 日 时 ，Po 跑 遍 多， 习惯 上 称 0 
为 分 布 参数 . . 以 后 ， 我 们 总 假定 在 参数 值 不 同时 ， 所 对 应 的 分 布 
TRIB]. O 作为 参数 0 的 全 部 可 能 值 的 集 ， 习 惯 上 称 为 参数 空 
间 . 通常 ,8 可 以 理解 为 这 样 的 一 种 集 , 它 包含 参数 0 的 所 有 可 能 
值 , 但 不 必 与 后 者 重合 .本 书 讨论 的 绝 大 多 数 情况 是 : @ 为 有 限 维 
欧 氏 空间 或 其 一 非 空 Bori fE. 有 时 ， 有 必要 在 O 中 引进 一 个 
0- 域 Ze, 14.0 为 欧 氏 空间 或 其 一 Borel TEH, Zo URA H e 
的 一 切 Borel 子 集 构 成 的 .c- 域 ， 即 参数 (可 测 ) 空 间 (9，296) 为 欧 
. 8» 
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氏 的 . 最 常见 的 情况 是 : 分 布 族 多 (PS, 0€ 05 满足 如 下 条 件 : 存 
在 定义 于 Z: 上 的 c- 有 限 测度 ,使 对 一 切 的 6E8 有 D^ (这 
时 也 记 为 多 < 久 )、 于 是 可 把 多 写成 多 = {pod1, 0E 人 的 形式 ,其 
H p A Pe Xi u W Radom-Nikodym 导数 :pol2)=QPo(w)/adn(w). 
以 后 , IY LBS TE DLE, w 2g Lebesgue 测度 , 或 为 某 个 可 列 集 上 
的 计数 测度 , 即 对 任 一 集 4, p CA) 一 4 中 的 点 数 . 

.把 分 布 族 乡 = {Po, 0€0Y BERRA, BoM, TJ 
成 一 个 三 元 组 (47, Br, PEX, Ba, Pe, DGEG@)， 称 其 为 (所 讨 
论 的 问题 的 ) 概 率 空间 ， 有 时 也 把 它 称 作 样 本 空间 . 

下 面 考察 几 个 简 例 : 
例 1.1 为 估计 一 物体 的 重量 6， 对 该 物体 作 了 % 次 独立 称 
量 ， 结 果 记 为 Xi c6, Xan 假定 每 次 称 量 的 误差 服从 正 态 分 布 
N (0, o°), a?>0 是 未 知 的 . 对 本 问题 , 样本 为 X — (Xa e, Xa), 
PRA BIA UP, Be) (2 Jy R^ 的 一 切 Bori 子 集 构成 的 o- 域 )， 
参数 空间 日 为 (0:0— (b, o), —co«b«co, o0), 分 布 族 F= 
(P, OEO}, 其 中 | 
dP,(2) = (4/ 2 o) exp] - is 之 (一 5 do, da, 
5391.2 为 估计 一 批 产 品 CR IN 个 ) 的 废品 率 8， 从 其 中 随机 
扫 出 % 个 ,以 X 记 其 中 的 废品 个 数 . 4 m0 或 抽样 是 有 放 回 
时 ， 可 以 认为 X 服从 二 项 分 布 B(n, 0). 就 本 例 而 言 ， 样 本 空间 
自然 地 取 为 Z= (0, 1, -, m, ESRB 6-10:0«0x1;, 分 
布 族 可 形式 地 表 为 
m 
n 


4Po)- | 0: (1.—6)*-*dj (a), 0<0<1, 





AB uA Z 上 的 计数 测度 . 

例 1.3 设 在 例 1.1 中 ， 假 定 各 次 试验 的 误差 均值 为 0 且 独 
立 同 分 布 ,其 它 一 无 所 知 ， 则 样本 空间 仍 与 例 1.1 一 样 ,而 分 布 族 
P Wie 54 P Eg PEE: xF ERR), F 
是 任 一 有 均值 的 一 维 分 布 ， 在 此 , 可 以 取 作为 分 布 卫 的 "标号 








Bp o3 Cni EAR PEA Pr). 从 而 有 
e- rir ttt, (^ MelaF() <ool. 


本 例 与 前 两 例 不 同 处 在 于 : 不 仅 人 参数 空间 @ 不 是 欧 氏 的 ， 而 
且 分 布 族 多 中 任 一 分 布 Pr 对 “参数 值 ” 的 依赖 关系 也 无 法 用 简 
单 的 解析 形式 表达 出 来 。 一 般 地 ， 称 前 两 例 (以 及 与 之 类 似 的 情 
况 ) 中 的 分 布 族 或 者 说 所 涉及 的 统计 问题 为 参数 性 的 ,而 例 1.3 则 
为 非 参 数 性 的 .但 是 ， 这 种 区 别 只 是 一 种 比较 第 统 的 概念 不 可 能 
gano 条 泾 渭 分 明 的 界限 来 | 

. 行动 空间 (也 称 为 判决 空间 ) 对 一 个 统计 问题 的 回答 , 依 
NE 它 可 以 是 一 个 数 ( 在 点 估计 中 ). 一 个 区 间 ( 在 区 
HiH t), 或 者 一 个 决定 -一 -接受 或 拒绝 (在 假设 检验 中 )， 而 统 
计 判 决 问题 是 一 种 抽象 化 了 的 统计 问题 , 关于 它 的 回答 , 也 就 是 关 
于 形形色色 的 具体 统计 问题 的 回答 的 抽象 一 一 “判决 ”， 因 为 一 定 
的 判决 (如 接受 或 否定 某 一 假设 ) 常 导致 采取 一 定 的 行动 ， 所 以 
也 常 把 关于 统计 判决 问题 的 回答 称 为 一 个 “行动 ”对 一 个 给 定 的 
统计 判决 问题 , 采取 何 种 行动 , 这 与 问题 的 性 质 、 所 获 样本 以 及 所 
采用 的 “优良 性 准则 ”( 见 后 面 ) 有 关 . 但 是 , 对 一 定 的 问题 , 所 可 能 
采取 的 全 部 行动 , 是 事先 就 可 能 知道 的 。 这 个 由 全 部 可 能 行动 构 
成 的 集 A 就 称 为 行动 空间 ， 有时, 需要 将 4 适当 扩大 一 些 , 在 不 
少 情况 下 ， 有 必要 引进 一 个 由 4 的 菜 些 子 集 所 构成 的 o- 域 Zi, 
以 形成 可 测 空间 (4, Z1). 当 4 为 有 限 维 欧 氏 空间 或 其 一 Borel 
子 集 (这 是 最 常见 的 情况 ) 时 ， 总 把 Z 取 为 由 4 的 一 切 Borel F 
集 构成 的 ac- 域 . 

例 1.4 4:5) 1.1, 若 问 题 是 作 的 点 估计 , 则 行动 空间 可 
取 为 4 一 Ri HEED REKA, WAR A= (a:2— fos 23]; 
aKa). 若 问题 是 同时 估计 ! 和 ac， 则 行动 空间 可 到 为 4= {4 一 
(a1, a3): —00<41 <00, a> 0}, i D 

801.5 设 有 c 个 正 态 总 体 N (a, o9) (6-1, =, 0)， 要 求 根 
据 对 各 总 体 交 一 些 观察 结果 ， 对 这 e 个 总 体 的 均值 ct aa, … 0, 
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从 小 到 大 排 定 一 个 次 序 . 在 此 ， 每 个 “行动 "都 是 1 2，…， 6 的 一 
TERO, s, o), "ELE LT TER RIDE. ou 最 小 ,co KZ, 
Uy Qi 最 大 .行动 空间 和 4 由 一 切 这 样 的 置换 所 构成 , 它 一 共 包 含 
e! T 5&. ni 

对 假设 检验 问题 而 言 ， 一 般 可 能 的 行 了 动 只 有 两 个 (接受 ， 拒 


. 绝 )， 因此 行动 空间 特别 简单 . 


3. 损失 函数 面 对 一 个 统计 判决 问题 ,采取 一 定 的 子 动 ， 就 
会 招致 一 定 的 后 果 ( 经 济 的 或 其 它 的 )、 例 如 , A 1.2 中 , 问题 是 
要 决定 是 否 接受 该 批 产 品 , BA, 当 废 品 率 9 小 时 , 对 接受 这 批 产 
品 的 后 果 是 有 利 的 ; 否则 , 是 不 利 的 . 

统计 判决 理论 的 一 个 基本 假设 ， 是 认为 这 种 后 果 最 终 都 可 以 
用 数量 的 形式 表达 出 来 , 因此 , 车 从 一 定 的 基点 起 算 , 我 们 就 不 妨 
把 后 果 看 成 是 一 种 “损失 ”, 它 总 是 非 负 的 , 行动 愈 接近 正确 , 损失 
就 愈 小 ; 否则 , 就 愈 大 ， 这 就 导致 “损失 函数 ”这 个 重要 概念 .损失 
函数 LO, a) 是 一 个 定义 在 @x 4 上 的 非 负 函 数 . 当 参 数 真 值 为 
0 而 采取 行动 a 时 ,所 遭受 的 损失 为 上 (9, a). 

. Bin, 在 例 1.1 中 , 车 要 作 5 的 点 估计 , 则 一 个 常用 的 损失 函 
数 是 | 
| L(0,a)-(b—a)* (0=(2, o)). 

这 就 是 著名 的 平方 损失 函数 ， 在 本 书 所 讨论 的 点 估计 理论 中 占有 


特殊 重要 的 地 位 ,许多 重要 结果 都 是 在 这 个 损失 函数 下 取得 的 .更 


一 般 地 ， 可 考虑 
| L(0, a) —e(8)w(b— 一 C)， 
这 里 e(8)7-0, 而 w(z) 为 2 的 个 函数 ,在 o 0 处 是 非 降 的 . 20(2) 
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w(z)-— |z], 

如 果 问 题 是 要 作 了 的 区 间 估计 ， 则 必须 考虑 到 ， 当 使 用 区 闻 
a= [a as] 时 ， 所 遭受 的 损失 应 从 两 方面 来 衡量 : 一 方面 是 区 间 
[2,, oa] 是 否 包 含 6; 另 一 方面 是 区 间 的 长 度 ， 例如, 可取、 

Lo, a) =m [1 — Iana (0)] + (0 — 801), 














Hp m> AEA. R 
L(0, à) - |a —5]| 4-1aa— 5| 

等 等 .在 假设 检验 问题 中 ， 由 于 可 能 行动 只 有 两 个 ， 情 况 比较 简 
单 . 例如 , 可 采用 0-1 损失 函数 (决定 正确 时 损失 为 0, 否则 为 1)， 
这 相当 于 通常 的 Neyman-Pearson 理论 . 

函数 工 需 潢 足 一 定 的 可 测 性 要 求 . 一般 地 说 ， 在 行动 空间 A 
中 总 是 引进 了 o- 域 .多 4， 这 时 要 求 对 任意 的 968, LO, a) 作为 
a 的 函数 ， 为 V, up. dE O 中 也 引进 了 o- Zo, WER 
求 对 Zox Ba 可 测 . | 

判决 函数 理论 的 一 个 弱点 在 于 ， 不 仅 假 定 一 切 行动 的 后 果 都 
可 以 数量 化 是 不 现实 的 , 即 仗 在 这 种 数量 化 是 合理 的 情况 下 , 也 往 
往 缺 乏 足 够 的 根据 去 选择 一 个 合适 的 损失 函数 . 因此 , 损失 函数 
的 选择 不 能 不 带 有 相当 的 人 为 性 ， 其 中 数学 上 的 简单 可 行 占有 重 
要 地 位 . 


二 、 判 决 函数 及 其 风险 函数 


1. 判决 函数 ”沿用 前 面 的 记号 ， 我 们 曾 提 到 , HERRER 
计 汰 决 问 题 的 解 ， 所 谓 “ 解 ”就 是 指明 所 要 采取 的 “行动 ”而 这 个 
行动 应 依据 所 得 到 的 样本 wz， 因此 , 所谓 判 决 函 数 , 就 是 指定 义 于 
样本 空间 Z 上 而 取 值 于 A 内 的 函数 ， 若 选 定 了 判决 函数 5, 而 得 
到 样本 o, 则 所 采取 的 行动 由 5(z) 给 出 ， 对 判决 函数 要 求 有 一 定 
的 可 测 性 ， 具 体 地 说 , 任 一 判决 函数 8 都 必须 是 由 样本 空间 (A, 
多 .) 到 行动 空间 (4， 多 4) 的 可 测 变换 . 

上 面 所 定义 的 那 种 判决 函数 通常 叫做 “ 非 随 机 化 的 ” 所 谓 
EMI, 是 指 只 要 样本 2 一 经 确定 ， 则 所 要 采取 的 行动 (2) tii 
唯一 地 规定 ， 无 任何 随机 性 (在 得 出 z 以 后 无 任何 随机 性 )， 更 普 
遍 一 些 , 可 以 考虑 下 面 情况 : 当 得 出 样本 o 时 , 并 不 能 唯一 地 规定 
所 要 采取 的 行动 w 而 只 能 规定 一 个 在 Z, 上 的 概率 分 布 (1z)， 
其 意义 是 : 在 得 出 样本 o 以 后 , 对 任何 集 DC Z4, RIAT D i 
行动 的 概率 为 5CD|12)， 我 们 可 以 设想 ,通过 某 种 随机 性 的 机 制 来 





实现 这 个 概率 分 布 8(. |z)， 这 样 ,一 经 得 到 样本 c, 我 们 就 有 了 一 
定 的 办 法 最 终 选 出 一 个 行动 a. 因为 甚至 在 得 到 样本 = 后, 的 次 
定 过 程 仍 有 随机 性 , 这 样 的 一 种 判决 函数 3(.|.) (定义 于 BXL, 
取 值 于 [0, 刁 ) 就 称 为 随机 化 的 ， 显 然 , 非 随机 化 判决 函数 是 随机 
化 判 沁 函数 的 特例 。 对 随机 化 判决 函数 , 也 有 一 定 的 要 求 :对 任何 
DEZ, 8(D|1z) 作 为 2 的 函数 ,为 Ze 可 测 的 . 

随机 化 判决 函数 在 实用 上 不 方便 , 是 显得 不 自然 ， 因 此 , 从 应 
用 的 观点 看 ,其 意义 是 有 限 的， 然而 , 它 在 理论 上 确 是 一 个 不 可 缺 
少 的 工具 ， 以 后 我 们 会 有 机 会 看 到 这 一 点 . | 
2. 风险 函数 ” 先 考 虞 非 随机 化 的 判决 函数 5， 设 损失 函数 
为 荆 ， 当 得 到 样本 % 后 ,采取 的 行动 为 8(c)， 设 真 参数 值 为 9, 则 
所 遭受 的 损失 为 LO, 3(z) ). 因为 样本 X 有 分 布 P, 平均 损失 
: | 
R(9, 8) - EE1(6,8(3))] — | LOO, 9(&))4Ps(e), (1.1) 


RO, RÆ B 的 风险 函数 ， 也 就 是 当 采用 判决 函数 8. 而 参数 真 
值 为 g 时 ,所 遭受 的 平均 损失 应 当 注意 的 是 ; 在 前 面 关于 二 和 8 
的 可 测 性 的 假定 下 , 1.1) 中 的 积分 是 有 意义 的 . 

在 随机 化 判决 函数 B 的 场合 , 其 风险 仍 定义 为 平均 损失 ， 这 
个 平均 损失 要 分 两 步 计算 ， 先 在 固定 样本 ”的 条 件 下 计算 平均 损 
失 ,结果 为 | DCO, a)3Cdalz)， 然 后 对 2( 在 概率 分 布 P 之 下 ) 求 
平均 ， 最 后 得 | 

R0, 5-[ [{ z0, a)ò(da |x) dP). (1.2) 
同样 , 在 前 述 关 于 工 和 5 的 可 测 性 假定 之 下 ，(1.2) 中 的 积分 是 有 
意义 的 ， 

在 现行 的 判决 函数 理论 中 ， 风 险 函 数 是 由 判决 函数 所 决定 的 
(但 应 注意 , 风险 函数 还 与 损失 函数 二 及 分 布 族 {Po 00) 有 关 ) 
最 重要 的 量 。 因为 现行 有 关 判 决 函 数 的 优良 性 准则 ( 见 .8)， 金 
都 取决 于 其 风险 函数 . 
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下 出 举 儿 个 简 例 说 明 风 险 函 数 的 计算 : 
例 1.6 设 在 例 1.1 中 , 问题 是 要 估计 方差 va。 这 时 行动 空 
间 自 然 地 取 为 4= {o，c>0}, RARAN LO, a) — (0? aS: 
(0 一 (5, 0))， 对 此 问题 , 常用 的 估计 为 b (a) - —L. È (az) 
(L3). HA (n—1)8(2) /o*» x2.., 可 算出 
A(0, 5) = Elo? —8( X )]? —20*/(n —1), 
若 用 估计 Bi(z) = 二 二 È (s - 2), 则 可 算出 
R0, 8) — Elo? 8,( X )]! —2o*/(n--1), 
注意 ,对 一 切 0 一 (5, o), # RO, 5) «R(0, ò), 
例 1.7 设 在 例 1.1 中 ,问题 是 要 作 的 区 间 估 计 , 行动 空间 
如 例 工 .4 中 所 述 ,而 损失 函数 取 为 
L(6, a)=1— Im, alb) +m(gs— a) (9 = (5, c), e [24, Co] )， 
其 中 m>0 为 常数 ， 关 于 这 个 问题 ,最 常用 的 是 所 谓 妃 区间 估 计 


| 3(2) 一 LEA i1, a/2, 


其 中 e=} > (z,—2) Tj 0ca-«1, 考虑 到 
Mac (£5) | E ES 





Z 十 Jr ta_1, ajal 全 [ci(z)， ax (2)], 


E, [I r.p, a« 3 (5) T Po, »| 





— a 


| | I'(n/2) 
以 及 apu Zi T((n—1)/8) ** 
不 难 算出 
2、/ 2m I'(n/2) 
R0, 7 nn I) T 1/2) 





tn_1, a/92 9 Tax, 


三 、 判 决 函数 的 优良 性 准则 
在 给 定 了 一 个 统计 判决 问题 时 , 可 以 采用 的 判决 函数 很 多 , 因 
为 从 原则 上 说 ， 任 一 由 (25, Za) PCA, 9) 的 可 测 变换 6 都 可 以 
JH. 例如 , 为 估计 例 工 工 中 的 均值 六 可 以 用 样本 均值 、 样 本 中 位 
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数 以 及 其 他 种 种 估计 . KEA, 在 这 众多 的 可 供 选 择 的 判 次 孙 


数 中 , 我们 希望 选择 最 好 的 ,或 尽 可 能 最 好 的 .但 怎样 的 判决 函数 


才 算 是 “好 ”的 呢 ? 对 这 个 问题 的 回答 ， 取 决 于 用 什么 样 的 标准 来 


衡量 判 次 昂 数 的 优 展 性， 这 就 是 我 们 现在 要 讨论 的 问题 . 


L. — S ite BEZA LES PR c up 1 8 1 RE CER 2X ESOS 2] 


损失 , 那么 目 然 地 , 若 0 与 5 为 两 个 判决 函数 ,有 


R(0, 9'5«R(0,8) (—910c€0) . (1.3) 

成 立 , MERO 一 致 地 优 于 或 等 同 于 3. 若 (I.3) 成 立 ， 且 至 少 对 一 
个 六 值 有 不 等 号 成 立 , 则 称 8 一 致 地 优 于 3. 

如 果 一 个 判决 函数 5" — a ep rip 个 判决 

函数 o, 则 称 67 为 (该 判决 间 题 的 ) 一 致 最 优 的 判决 函数 ， 显然 ,在 

以 风险 次 数 的 大 小 作为 评价 判决 沟 数 优 劣 的 唯一 iens Br 3e F, 


一 致 是 优 的 判决 函数 是 最 理想 的 判决 函数 ， 可 惜 的 是 ,只 有 在 茶 


些微 不 足 谱 的 情况 下 , 这 种 一 致 最 优 的 判决 函数 才 存 在 ， 因 此 , 这 
个 准则 直接 付 请 于 实 o 为 了 克服 这 个 困难 ,一般 
使 用 以 下 两 个 方法 ; 一 是 事先 限制 所 使 用 的 判决 函数 必须 满足 
某 种 合理 的 要 求 ， ,在 其 中 有 可 能 
存在 一 臻 最 优 者 ， 另 一 种 作法 是 将 -- 致 最 优 准则 中 的 “点 点 比较 ” 
改 为 某 种 形式 的 “整体 比较 ”， 这 两 种 情况 的 实例 都 会 在 本 书 中 碰 
到 并 起 a 到 重要 的 作用 . FERMERIN AJLA i—i EN Y 
生出 来 的 重要 概念 . 

2. 容许 性 、 完 全 类 、 本 质 完全 类 VE $ 为 一 判决 函数 . BIF 
在 一 个 判决 函数 3 一 致 地 优 于 9, 则 称 8 为 “不 可 容许 的 "~， 反之， 
车 不 存在 一 致 地 优 于 6 的 判决 函数 , 则 称 8 为 "可 容许 的 "这 个 
概念 的 直观 意义 很 清楚 : 若 8 一 致 地 优 于 3, 那么 ,我 们 没有 理由 
使 用 6 而 不 用 5. 换血 话说 ,在 使 风险 尽量 小 的 原则 焉 ,不 容许 使 
用 ô. 

要 判定 一 个 统计 判决 函数 是 可 容许 或 不 可 容许 的 ， 一 般 说 是 
一 个 很 困难 的 问题 ， 在 点 估计 理论 中 ， 对 这 个 问题 有 不 少 研 究 . 
本 书后 面 有 专 章 进 行 讨论 ， | ~ 








üt 多 是 一 判决 函数 类 (例如 2 是 一 切 判 类 函数 类 , 或 是 一 切 
非 随机 化 的 判决 函数 类 ， 一 切 可 袁 为 样本 的 线性 函数 的 判决 函数 
类 ,等 等 ), 而 "C2 为 乡 的 一 个 子 类 . 车 对 任何 判决 函数 85€ 儿 
—2*, VEE CD", 使 8 一致 优 于 5, 则 称 多 * 构成 多 的 一 个 
完全 类 .在 这 种 情况 下 ， 多 一 * 中 的 判决 函数 没有 被 使 用 的 余 
地 .因此 , 我 们 可 以 把 考虑 的 范围 由 F 缩小 为 2", 

更 一 般 地 , 车 对 任何 5€ 2, UPE SED, 使 3 一致 地 优 于 
或 等 同 于 3, 则 称 2" 构成 多 的 一 个 本 质 完全 类 .在 这 种 情况 下 ， 
如 果 只 着 眼 于 风险 大 小 , 则 把 所 考虑 的 范围 由 多 缩小 为 D", 不 致 
引起 任何 损失 .所 以 ,从 应 用 的 角度 看 , 完全 类 与 本 质 完全 类 的 效 
用 是 一 样 的 . 但 本 质 完全 类 的 概念 在 理论 上 较为 方便 , 因为 证 明 
一 个 判决 函数 为 本 质 完全 类 往往 更 为 容易 些 . 

3. Minimax 准则 设 判决 函数 8 的 风险 函数 为 RO, 5), 当 
采用 8 时 ,所 能 遭受 的 最 大 风险 为 


4f(5) —sup BRO, 8), 


从 防止 最 坏 的 情况 出 现 ” 这 个 角度 考虑 ， 我 们 可 以 建立 如 下 的 准 
则 : EMM), 则 称 5' 优 于 5. 车 钨 为 一 判决 函数 类 ， 
9'€2. 若 对 任何 5SE 今 有 4(5)>>.M(0， 则 在 这 个 准则 下 ， 
没有 优 于 3 的 判决 函数 , 即 3 在 这 个 准则 下 是 最 优 的 , 这 种 8* 称 
为 (所 给 判决 问题 的 )Minimax 解 ; 在 估计 问题 中 则 称 为 Minimax 
估计 . | 

Minimax 准则 是 从 风险 函数 的 整体 性 质 来 定义 判决 函数 的 
优良 性 的 一 个 例子 : 对 两 个 判决 函数 6 和 97, 我们 不 在 每 个 参数 值 
0 处 去 比较 其 风险 RC, 5) ARO, 9), WR dii 
M(8) 和 MONTER. 

4. Bayes 准则 “Bayes 学 派 是 在 现代 统计 中 很 有 影响 的 一 个 
FR. 关于 这 个 学 派 的 基本 思想 和 方法 , 我 们 将 在 后 面 专 章 中 进 
行 讨论 .在 此 只 从 优良 性 这 个 角度 作 一 点 很 初步 的 说 明 . 

设 有 两 个 判决 函数 8 和 38。 如 前 所 指出 , 车 对 9 逐 点 比较 二 
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3E SI PAIS OR RO, 8) I RO, 85, 往往 得 不 到 确定 的 结论 (哪个 
ERTE). RW, 我 们 可 以 考 虚 对 9 进行 某 种 形式 的 平均 , BAIE 
较 它 们 的 平均 值 . 

取 这 种 平均 最 一 般 的 方法 , 是 在 @ 的 一 个 子 o-i Ze 上 给 定 
一 个 概率 测度 aH (9), 计算 


Fa) 一 | R(0, AH (0), By(8) = 人 R(0, 5^)dH(0), 


它们 分 别 是 只 (0 5) $n R(CO, 9) 以 概率 测度 d.H. 为 权 的 加 权 平 
Hj. Æ By(9')-Ba(9), W (Æ Bayes 准则 以 及 选 定 QH (0) 之 下 ) 
称 3 T0, 若 乡 为 一 判决 函数 类 ,SrESG， 且 对 任何 5E2 有 
Bx(6) 之 Ba(6n)， 则 在 Bayes 准则 (以 及 给 定 dg 已) 之 下 ，pa H 2 
中 的 最 优 者 ， 称 它 为 在 给 定 “ 先 验 分 布 ” dH 之 下 所 给 的 判决 问题 
的 Bayes 解 . 在 估计 中 则 称 为 Bayes 估计 . Bayes 准则 是 从 风险 
函数 的 整体 性 质 来 确定 判决 函数 的 优良 性 的 又 一 个 重要 例子 . 

上 面 我 们 提 到 “ 先 验 分 布 一 词 ， 将 在 第 四 章 中 对 它 作 比较 充 
分 的 说 明 . 这 里 我 们 只 注意 ， 在 上 述 Bayes ÆW h, -RTH 
定 的 地 方 ， 就 是 在 Zo 上 的 分 布 dH 应 该 如 何 选取 .而 这 个 分 布 
蚌 表 示 各 9 值 在 计算 Bx(5) 时 的 重要 性 大 小 、 因而 , 从 实用 的 观 
REB, 它 应 与 各 9 值 在 实际 问题 中 出 现 的 频繁 程度 相 一 致 、 例 
如 , 某 厂 产品 逐日 的 废品 率 一 般 很 低 , 但 偶尔 取 较 大 的 值 。 这 种 情 
WEHR, Ekhi dd 时 ， 更 多 的 概率 应 集中 在 0 点 附近 .由 于 
这 种 认识 以 及 由 此 而 确定 的 分 布 gd 互 ， 往 往 是 基于 以 往 的 长 期 经 
验 , 而 并 非 基 于 手头 这 一 次 观察 的 值 , 故 习惯 上 称 之 为 先 验 分 市 . 
. 5. 无 偏 性 和 同 变性 有关 的 理论 将 在 本 书 的 后 面 详 加 讨论 , 
在 这 里 我 们 只 针对 点 估计 的 情况 作 一 点 说 明 . 

无 偏 点 估计 的 概念 ,想必 读者 是 了 解 的 : 设 要 估计 参数 & 的 某 
个 函数 为 g(9)(g 已 知 ) 而 使 用 估计 量 6(w). 若 对 分 布 族 乡 = {Ps， 
0c€0j 中 任 一 分 布 Po, 都 有 


E,(X)1- |. 5(o)dPo(o) —9(0), 





则 称 3 为 9(9) 的 一 个 无 偏 估计 .如 果 我 们 局 限于 只 考虑 无 偏 估 
计 ， 则 所 考虑 的 范围 就 大 大 旨 小 了 ,而 在 这 大 大 缩小 了 的 范围 内 ， 
就 有 可 能 存在 某 种 意义 下 的 最 优 估 计 ， 例 如 ,一 致 最 优 无 偏 估计 ， 
它 葡 是 在 全 部 无 偏 估计 构成 的 类 中 的 一 致 最 优 估计 . 

因此 ,无 偏 性 原则 是 缩小 所 考虑 的 判决 函数 类 的 一 种 方法 . 这 
个 缩小 是 否 会 有 损 于 问题 的 实质 (更 具体 地 说 ,就 是 是 否 把 一 些 更 
好 的 判决 函数 排除 在 外 了 ), 取决 于 在 特定 的 问题 中 无 偏 性 的 不 则 | 
是 否 合理 或 切合 实际 .无 偏 性 原则 曾经 在 估计 理论 中 得 到 广泛 的 
应 用 , 但 近年 来 , 由 于 种 种 原因 (其 中 包括 判决 函数 理论 的 影响 )， 
对 它 的 看 法 已 经 有 所 改变 了 . 

癌变 性 [equivalence， 也 有 称 为 不 变性 TTE 的 ] 的 作 
用 与 无 偏 性 一 样 , 也 是 为 了 缩小 所 考虑 的 判决 函数 的 范围 。 我 们 
举 一 个 简单 的 例子 来 说 明 这 个 概念 。 设 在 例 1.1 中 要 估计 35. Hi 
有 样本 Di, o, Oa, 如 果 我 们 把 度量 原点 移 到 一 c, 则 样本 成 为 m: 
+e, =e, Bate, 而 均值 6 转化 为 8+c， 但 问题 并 无 任何 变化 ， 因 
此 ,对 任 一 估计 量 而 言 ,在 原来 的 坐标 系 下 , 是 用 9 (0, oo) 估计 
5b， 而 在 新 坐标 系 下 , 则 是 用 ltte, e, ateit 8 十 c。 如 果 
认为 上 述 坐 标 变 换 不 应 影响 我 们 对 的 估计 , 则 自然 地 应 要 求 

6 (vi 二 TC， =, Ba tHe) —-B(m, =, wn) 十 Cc 《对 任何 co)， A.A 
这 驶 是 一 种 同 变性 ， 任 一 满足 条 件 民 .和 的 估计 9 称 为 (在 所 考虑 
的 变换 下 的 ) 同 变 估 计 . 把 估计 量 的 范围 缩小 为 一 切 同 变 估计 ， E 
有 可 能 找到 最 优 者 ， 例 如 ,一 致 最 优 的 同 变 估计 . 

不 难 理解 ， 这 种 缩小 所 考虑 的 判决 函数 的 范围 的 方法 是 否 有 
损 问题 的 实质 ， 取 决 于 在 特定 问题 中 同 变性 原则 是 否 合理 或 切合 
实际 ， 这 并 不 是 一 个 容易 回答 的 问题 . 


82 指数 型 分 布 族 


在 本 字 中 ， 我 们 要 引进 和 讨论 一 个 重要 的 分 布 族 一 一 指数 型 
分 布 族 .这 个 分 布 族 有 以 下 儿 个 特点 :一 是 它 包含 了 许多 常见 的 重 











要 分 布 , 象 正 态 分 布 , 二 项 分 布 , Poisson 分 布 ，Gamma 分 布 等 等 . 
二 是 它 有 良好 的 解析 性 质 , 因而 在 数学 处 理 上 有 很 多 方便 . 第 三 
《这 一 点 特别 重要 ), 迄今 所 获 结果 表明 :许多 理论 性 的 统计 问题 在 
指数 型 分 布 族 中 有 满意 的 解决 ,而 在 其 它 的 分 布 族 则 否 . 


一 、 定 义 和 例 子 
BUE, BARAWER, uI Z: 上 的 非 零 c 有限 测 度 . 
T, (m) G=, =, 5) 为 有 限 的 用 一 可 测 的 实 函 数 , 8 为 一 抽象 集 


f, [ELOT 0 aa<, 96. 


记 此 积分 为 FOE 则 对 任何 6€@， 


pa)duae(f)xp[XQU6)T,G)]m C2.D) 

确定 一 个 7. 上 的 概率 分 布 ， 由 于 表达 式 (2.1) 中 出 现 指数 ， 称 分 
布 族 {po(2)GL， 0C 0T 为 一 指数 型 分 布 族 ， 简称 指数 族 或 指数 型 
jk. 

在 这 个 定义 中 没有 指明 集 @ 有 何 限制 ， 一 般 地 ， 它 是 由 一 切 
满足 上 述 条 件 的 构成 的 集 ， 参 见 下 面 的 例 . 

512.1 6 X, =, X Hiid, 随机 变量 ， Xı~ NÇ, D, 则 
| X -(X;, t3 X ) 的 分 布 为 


1l. 
pade- (a) non [ i nan d 
1/2 nzo ~I S 0 | 
= (2g) "/3e7*6 [3971769 2 1 * dg dEn 
Ac (ge dy (æ), 
这 里 e(0)= (2r) "2e Q(8)—0, T(s)= =n =$ t, dum 


c2 dus. des. 这 是 指数 族 , O 可 取 为 R'— (— eo, oo), 
H Xa, es zai $ itd., Xi1—N(b, g?), 0 一 (5, o), a x- 
(X, Tre cu e 
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Dy WI A (Baro) "A exp| —— 30 — b)? Jaz: -AEn 


= (2mo?) "72 exp| | z? 一 9nbc nb?) laa. 07g 
& O(8)exp[Qi (OT (2) -- Qu (0) T'a (0) dtr dan, 
让 处 /(8) = (2:0?) "? exp( —n5?/2o7), 


Q0) =--> QO) =nb/0, 


Tle) =$, T la) =g, du. —de,---da., 


这 是 一 个 指数 族 ,9 可取 为 10:0 (5, o), —20<b <00, o>0}. 
例 2.2 Xi, e, X, 为 iid., X HE JA, Gamma 分 布 G (a, 
E), RB. XiX L WU SEC 35 BE 


a? 
Ja s (21) -1 TŒ) r(B) 
0, Tı <0, 


it 67 (s, B, X - (En s X IAS 
dP Tr atn) de 


2 c(0)exp [Q. (0) T' (2) + QO T's (s)]du(o), 
Jb c(0) —o7"7/1*(8), Q1(0) — —a, Q0) —8—1, Tfj Ti (o) = 


Xa Tí(2) -2Moga, du-dzs-de, 样本 空间 多 取 为 光一 


{e= (m, E" £4): 2,77 0, $-—1, d nj. 至 于 e, 可 取 为 (8: 0 一 
(a, £), «7-0, B>0}. 
9512.3 设 工 一 二 项 分 布 B(n, 0). 它 可 写 为 


dP,(z) — h ea —8)*7 du 
icai dy, 
Xi e(8) (1. 0», erg 9 ,T(z) 一 2， WU u ENHE 
Bord =O, 1, e) E, aC) m (7), 070, t, onm 





vi 6€ ^ 9:170; 
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本 例 中 日 最 大 可 取 为 {10:0<6<1}. 而 在 二 项 分 布 族 中 ， 
0=0 H 0=1 两 个 值 也 是 容许 的 这样 ,可 看 到 如 下 情况 : 为 了 将 
一 个 分 布 族 看 成 指数 族 ， 有 必要 牺牲 某 些 参数 值 而 将 分 布 族 缩小 
一 点 .这 个 情况 在 Poisson 分 布 族 中 也 出 现 : AX 的 分 布 为 


dP (2) -4 edu Aele 1o dy, 
其 中 ce(8)=e°, Q(9) —log0, T'(v) —«e, WE v5 SCXE TEE 22 [8] 
X= 10, x 2, vr deg 


nC) =, 20, 1, 2, =, 


' 最 大 可 取 为 (0107-0), 而 在 原 米 的 Poisson 分 布 族 中 ，9 一 0 也 
是 容许 的 . 

例 2.4 设 m 维 随机 回 量 和 =(X ce, XS) 服从 nn 维 正 态 
Ay3g N(d, A7), 我 们 记 96= (d, A), 此 处 4 为 n 维 实 向 量 ,而 4 
A n REENE, X 的 分 布 为 

dPs (2) = (2x) "^ (det4) Soxp| -$ (e—a) Ale —d) |dzs--den 


e (2m) "(detA)" roxp{ 一 i d Adj 


x exp la 4 一 i of An dz, da, 


—«(B)exp (SOO Ts) Jdu, 


此 处 ec(0) = (22) "(detA)" exp (-i dAd), q-n4-2 ot 1 


(Tile), ++, Tí(2)) = (A, 7, La, Qi, y Dr, Cila, ***, XyoiTa). 
相应 地 ,RQ1(0),…, Qa(9) 也 不 难 写 出 ,ddz1…aw。n。 因 此 这 是 一 
个 指数 族 . 
指数 族 的 一 个 性 质 是 族 中 的 分 布 有 共同 的 负荷 集 。 这 个 集 显 
然 就 是 测度 见 的 负荷 集 . 因此 ， 任 何 一 个 不 具备 这 个 性 质 的 分 布 
族 , 例如 均匀 分 布 族 RO, 0) :0>0) ,都 不 是 指数 族 . 
一 般 形 式 的 指数 族 可 以 转化 为 一 种 较 简 单 的 标准 形式 ， 为 





Jb, REER: 40:—Q((0),4—1, o, k 0 — (8, 5, 62), 
《2.1) 就 变 为 


d God Ae (0 yexp[ 336/72) ldu, 
Hp, O, d EERO RE, 即 得 指数 族 的 标准 形式 
p(w)dp =0(0)oxp [OTs) Jan. (2.2) 
在 这 个 标准 形式 下 , 参数 空间 一 般 都 取 为 
6 [0:6— (Oo =, 69, | exo [Soc ance L 


它 被 称 为 自然 参数 空间 . 
例 2.5 到 样本 空间 A4 —H. 又 设 <c>0 和 52 为 已 知 常 数 , 考 
V Ay Ap 
gent 22 —07 O pis az -4- b | 4-69 ]dz, 
这 可 变换 为 如 下 标准 形式 : 
me(m)dj = c(0)68* du (o), 
其 中 ef) oet ÈE, qu) sect do, BR MESE IUOS 
6 -—(08:|0] <a}, 
更 进一步 ,我 们 可 以 通过 变换 
v, —T.(c) ($—1, ud k), (2.8) 
把 (2.2) 化 为 更 简单 的 形式 .与 对 9 的 变换 不 同 之 处 在 于 : 这 个 变 
换 要 改变 原来 的 样本 空间 . 这样 , 得 到 最 简单 的 指数 族 形式 : 
wxda-eKexp[S6m]a«o. (2.4 


这 S E PS 


二 、 指 数 型 分 布 族 的 基本 性 质 


定理 2.1 指数 族 (2.4) 的 自然 参数 空间 为 凸 集 ， 
证 设 0O.0EBD 0<p<i, q-—1—95, h Holder FA, A 








| (3 (p3; + q05)m, ydus 
- leone noe) 
«(Loon aT [ema] m 


HH O= (0, -, Or), 0'—(01, 0, Ox). 这 就 证 明了 所 要 的 结 
A. | | 
特别 , 在 0 为 一 维 时 , 由 本 定理 知 , 自然 参数 空间 必 为 一 个 区 
间 ( 有 限 或 无 限 , 开 、 闭 ;或 半 开 半 闭 均 可 ); 在 高 维 时 , 自然 参数 空 
间 的 边界 可 呈现 复杂 的 情况 . 显然 ， 本 定理 的 结论 及 证 明 对 指数 
族 (2.2) 也 成 立 . 
考虑 指数 族 (2.4)， 自然 参数 空间 B 是 Br 之 一 个 子 集 ， 由 
台 的 一 切 内 点 所 构成 的 集 称 为 @ 的 内 部 ,用 符号 OO 记 之 . 
定理 2.2 t ple) H Ba PURER 满足 条 件 . 对 一 切 的 
0=(01,…, 0,) cC O^, Æ 
|] ea) | exp( 2: v, Jd eo. 
将 6, 视 为 复 变数 , 即 0,—£ rim (j—1, e, E), WE 
(i) 积分 d 
f(0) -| paS 0,7; Jiu (2.5) 
在 区 域 | 
0* — 10— (0,, =°, 06:):0;—£,4- ny, 
j71, NE k, (£1, ud ér) co" 
内 每 点 有 意义 , BO 01, …, 0, 的 解析 函数 . 
Qi) 在 区 3 O" 内 ,了 对 0 e, px 的 任意 阶 偏 导数 可 通过 
〈2.5) 式 在 积分 号 下 求 导 得 出 . TE 
证 (i) 的 前 半 由 / 
ORP 05v, ) | 一 |p(z) lexp( $ E go, ) 
Klr ee, Er) CO 得 出 ，(G 的 后 半 可 与 (ii) 结合 起 来 证 明 . 为 
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WEH, BR SON 的 导数 ,在 O HRUE = (A, … 60 - 
(Etin, =, EREIN), Te 0 - (的 OB oo, 0D, MA =EL Hir, 
HFE —, E) EO, 存在 充分 小 的 8> 0 使 
ld 8| «55, B, s ED EOP, 
因为 当 6-00 c5 时 ， 有 lE -e co, HEN GU ee, da 
(8) - o(o)exp (È b ), 8 | 
1G) -4(99)/(6—6] 
= |p oxp( $ Oa )| lexp (62) —11/161—6t] 


一 [p(s)oxp(S Epa; ) 


«lee? lexp( 2: £o, joxp(|2118)/8 C4 |1— 80] 8). 
(2.6) 





lexp( (81 —61)21) —1]/ [81—03] 





最 后 一 步 用 了 如 下 的 不 等 式 : 当 |z| <5 时 ,有 
| (e* —1) /z| «eot /5. 
这 不 难 通过 将 e" 展开 为 级 数 以 验证 之 .又 因 
ela KETT p er 
由 (2.6) 得 
(Cp (9) 0)) /0 — 01) | 


« [ec exo[G 2-2: £a] 


+exp| £t), £v, ]- 


AA (EES, £2, --, COUR T O^, 由 定理 假定 知 ， 上 式 右边 对 以 
可 积 ,因而 令 0-0, 并 用 控制 收敛 定理 , 即 得 0f (0)/001|o.o. FE 
HPF 


| oco: exp( 3: 02; Jdu. 


使 用 类 似 的 方法 ,并 利用 归纳 法 , 即 可 证 明 f(0) 对 0, e, Or 的 各 
阶 偏 导数 存在 且 可 在 积分 号 下 求 导 。 定理 证 毕 , 
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显然 , 本 定理 的 结论 及 证 法 , 对 指数 族 (2.2) 也 成 立 。 由 本 定 
理 可 得 到 下 面 几 个 有 用 的 推论 ， -— 
系 2.1 对 指数 族 (2.2), 在 区 域 0* 内，c(0) 为 0,，…，04 的 
解析 函数 . | 
证 明 由 定理 2.2 可 直接 得 出 . 
系 2.2 关于 指数 族 (2.2), 对 任何 2EG@ 有 
E,UT;CX)]- —010gc(8)/00; (j—1, =, k) (2.7) 
© eov (T,CX), T,(X)) 2 —81ogc(6)/00,00, (4,j—1, =, E). 
(2.8) 
证 用 定理 2.2, ESR 


工 一 «(8) | exo( 33 0, T, (o) jan 
0-22 | on (> 0,T', (2) Jdu 
十 O| T G)exp( 23 0,1, (m) dn 
.9«0). 1 7 
77 ct) inis OU 
., 2logc(8) 
— 00, — MTAESUDCX)], 


这 就 证 明了 (2.7) 式 .由 (2.7) 得 
D 9 loge(8) 


00. N 6; 


"A zb oC0)| TKa) exp( 3: 6T, 2) du ) 


i 9c (0) : ES[T;X)] 
06, c(8) 
—e(8) | T (e) TG) exp( 2: 6T. Co) )an 
= E,UT CC] E,DT,(C)] — E UT (X) T4(C)1 
= —eove( T4 (X), T(CX)), 
这 就 证 明了 (2.8) 式 . 
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$3 凸 集 与 凸 函数 


在 参数 估计 理论 中 , 凸 损 失 函 数 有 较 大 的 重要 性 ， 因此 ,在 一 
些 理论 问题 中 , 会 磁 到 与 吓 性 有 关 的 若干 事实 。 这 个 内 容 本 不 属 
于 本 书 的 范围 , 但 是 ,我 们 考虑 到 有 关 的 材料 往往 比较 分 散 而 不 便 
查找 , 且 今 后 用 到 的 个 别 特殊 结果 在 一 般 书 本 中 大 多 未 加 讨论 .为 
了 方便 读者 ， 我 们 在 本 节 中 把 关于 是 性 的 有 关 事 实 作 一 简略 的 介 


绍 . 


— pHa 
ocr, 若 对 任何 ZWEO 及 0<2p<1 A pr-(1—9)9€ 
C, 则 称 C Jy m &. 
以 下 对 R" 中 任意 两 点 m (29s, e, Ea) 和 ym (uu cn, Ya) 以 
(m, s) d ELI ALU Om, (m, 2) 有 时 记 为 lzj?， 对 任何 
zCH"E8s20,W V.(z)iuf&iy:iy—| «5. 
引 理 3.1 it O Xihf&,yc m, HEE >04 0NV.y) = 
Ø. WEEER, lal=1, 且 
inf(a, 2)7 (a, y). (3.1) 


证 用 CC 记 0 Be. BHe()-lez-y|? xe € 上 连续 , 故 
存在 5E 避 使 wp(5) -infp(w). 由 于 O Jr, XL C 也 是 凸 集 ， 


故 若 zEC m Ops, 则 有 (1 一 2)w 二 DO2EC, 因 而 
1-220 9b —y|^z[5—yl?. 

将 此 式 展开 并 经 过 化 简 , 即 得 

(1—5)|e—5]?--2(z—5, b —9)70. 
HA p = 1 Ead, b—y)>0, XIHÍBGE, b +y, ik(5 —y, b— 
y)>0, 因而 

(z, b—y)> (b, b—9)7 (y, b—y). 
iia-(b—3)/|b—9|, W jia| —1, 且 对 一 切 的 EC， 有 (a, 2)— 


s, 20 >» 











(ay). 因为 (c,， %) 为 z 在 C 上 的 连续 函数 ， 故 得 (3.1), 引 理 证 
H, 

由 这 个 引 理 和 容易 证 明 关 于 凸 集 的 一 个 重要 结果 .上 先 回忆 几 个 
名 词 : 若 OC 忆 而 2ER 则 当 存 在 s>0 使 斑 (z)CO 时 , 称 2z 为 
O 的 内 点 ; 若 对 任 给 的 e>0, V) nO 5S Va) N eo) B 
空 ， 则 称 > 为 〇 的 边界 点 ， 这 时 必 有 zwE0C， 但 未 必 有 wwEO, x 
设 QO 为 凸 集 , 且 对 任何 %.yEC 及 0<p<1, 必 有 pr 十 (1 一 p)y 为 
O 的 内 点 , 则 称 C 为 严 西 集 . 

定理 8.1 ROCE AAR, y ARUM, WEEER, 
la] =1, 使 对 任意 的 EC, 有 

(a, v—49)20; (3.2) 
且 当 O 为 严 凸 时 , (3 .2) 式 中 的 等 号 当 且 仅 当 s-— y 时 才 成 立 . 

这 个 定理 的 几何 意义 是 : 存在 一 个 过 9 点 的 超 平面 (其 方程 为 
(a, xz 一 力 =0), 使 了 全 落 在 此 超 平 面 的 一 侧 ， 常 称 此 超 平面 为 O 
过 yg 点 的 支撑 平面 . 

证 取 一 串 包 EC, E yyl), 由 引 理 3.1, 对 每 个 
存在 dn, 使 las 71, 县 对 任意 的 EC, 有 

(an, 9) > Can, Yn). 
因为 (o) 有 界 , 可 取出 其 一 收敛 子 列 . 不 失 普遍 性 , 设 lim assa, 


有 ja] —-1. XHEfI2€O,H 
(a, v) - lim(a,, c) 7 lim(a,, Yn) = (a, y). 


即 证 明了 (3.2)， 由 (3.2) 可 知 , 对 O RSV o, Ala, s—y)>0, 
事实 上 ， #la, s—y)=0, 因为 4 为 内 点 ， 当 s>0 充分 小 时 ， 
=% —8a C C , {H 
(a, £.) — (a, 4) — ela, a) ^ (a, y) - e«(a, y). 

这 与 (3.2) 了 矛盾 . 

现 设 O 为 严 凸 ， 若 存在 ECO, vty, Wla, z 一 y) 一 0， 则 对 
于 任何 PE (0, 1), 4 z= (1—p)o4- py, WA 

(a, 2—9) —-(1—p) (a, 2—9) —0, 
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于 是 由 上 面 证 明 的 事实 , An z 不 能 是 0 的 内 点 ， 这 与 0 的 严 口 性 
WFE. EREHE. 
2.0 B&B "Uu 
ROC 是 凸 集 7) 为 定义 于 其 上 的 有 限 实 函 数 ， 若 对 
中 任意 两 点 2. y, BA | 
(eiue -fw- G9 
则 称 /为 (定义 于 CO 上 的 ) mA, 又 若 当 zB (3.8) 中 必 有 
不 等 号 成 立 , 称 二 为 严 凸 函数 . 
从 定义 易 知 : 若 fg 都 是 凸 函数 , Wft eE. Xf. gP 
至 少 有 一 个 为 严 凸 ， 则 f+g 也 为 严 凸 ， 若 了 为 ( 严 ) 止 ， 而 c>0 
为 常数 ， 则 of 也 为 ( 严 ) 凸 ， 车 对 任何 EC 有 limfa) — f (2) 


EH n EAB f. 28 O 上 的 西 函 数 , 则 了 也 是 C. 上 的 凸 函数 ， 
引 理 3.2 d 为 定义 在 凸 集 OCR 上 的 有 限 实 函数 ， 则 上 
为 ( 严 ) 凸 的 充 要 条 件 是 ， 对 于 任意 的 ms、mEO, mins, p) = 
f(t) tin) ERER t EKA CO, 1] 上 的 ( 严 ) 凸 函数 
证 “由 ONDRA pE OKIL 上 有 定义 . dE fs W 
xt, € [0, 1,8 
(Tat) (Fmt tn) e (Let) ) 


< f- Hert tea) T teitt Za) 


-ioare t)). 
反 过 来 , 若 POHE 0<t<l 为 凸 , 则 对 任何 mwaEC, 有 
1 NCC d 
F(z en) ^o (5)< (90) "0 0) — C Q3) f (2). 


这 就 证 明了 引 理 中 凸 的 部 分 , 严 凸 部 分 的 证 明 荐 一 样 的 . 
引 理 3.3 设 了 为 定义 在 同 集 C 上 的 凸 函数 ， 则 对 任意 的 自 
然 数 wm 以 及 OO 中 任意 mw 个 点 qi, tU, v, 有 


' 2R * 


ur m a —Ó— Á—M a —À 0 —ÓÁ minam ect te co 





Tum Woods 
F(=- S aj«-— (s). (3.4) 


证 Er 75] 8, E Prb IETA TES > z,CC. Hii 


性 , 用 归纳 法 易 证 i? n-2"(m X BAR G. DREL. 对 任意 的 
n, 找 自 然 数 m, 使 2">>m， 则 由 已 诈 部 分 ,有 
SD =f [a (oce n] 

E < Sf) + "|. 
由 此 即 得 (3.4). 引 理 证 举 . 

下 面 的 定理 把 一 个 函数 的 四 性 与 其 连续 性 联系 起 来 . 其 证 明 
可 参看 那 汤 松 著 < 实 变 函 数论 》. 

定理 3.2 设 f 为 定义 在 上 是 集 0C 上 的 凸 函 数 ,而 vs 为 C 的 内 
M. IPE s>0 使 : 
inf(f(z):|g—2| s) 7 — co, 
WFE wo 点 连续 . 
有 些 作者 将 凸 函 数 定 义 取 为 较 强 的 形式 ; 设 为 定义 在 凸 集 
C 上 的 有 限 实 函数 , 若 对 C 中 任意 两 点 sy 及 Ox psi, 恒 有 


fpzd- (—9)9) &pf (2) - (1—9)f (y), (3.5) 
则 称 为 百 函 数 . #4 ety, HO0<p<i kt, (3.5) 中 必 有 不 等 号 
RL, WKF AFEK. 


1183.8 设 /为 定义 在 开 凸 集 C 上 的 、 在 (3.3) 式 意义 下 的 
凸 函数 ， 则 广 在 (3.5) 式 意义 下 也 是 凸 函 数 的 充 要 条 件 是 : 7 在 O 
上 处 处 连续 . 

本 定理 充分 性 部 分 证 明 容 易 ， 因 为 由 引 理 3.3 易 知 , (3.5) 式 
"p 为 有 理 数 时 成 立 , 再 用 连续 性 假设 , 即 知 其 对 任何 PE [0, 1] 
都 成 立 . 必要 性 的 证 明基 于 定理 3.2, 并 使 用 归纳 法 ,在 此 处 从 略 . 

需要 说 明 的 是 , 当 凸 集 C 为 非 开 时 , 此 定理 的 必要 性 ( 即 ， 由 
(3.5) 推 得 的 连续 性 ) 未 必 成 立 ; 但 其 充分 性 ( 即 : 由 (3.8) 及 了 的 
连续 性 推出 (3.5)) 总 是 成 立 的 ， 
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为 了 避免 不 必要 的 麻烦 ,本 书 今后 总 是 在 (3.5) 式 的 意义 下 使 
. Bi RU. 

下 面 的 定理 对 于 判别 函数 的 是 性 是 有 用 的 : 

定理 3.4 设 f 为 定义 在 开 凸 集 0C 上 的 二 阶 可 导 的 实 函 数 ， 
以 AE) n 阶 对 称 方 阵 (w 为 OC 的 维 数 ) 5G, DIA FS / 02r, 
则 

(i) 若 对 任何 ECO, 4(o) 是 非 负 定 的 , 则 了 为 凸 函数 ; 

(i) THER 2 CO, Alo) EIEE R, W /为 严 凸 函数 ， 

证 当 mn=1 时 ,本 定理 的 意思 是 :着 "(2%) 之 0, XI— 9 2, 则 
f Ai Af (2)20, XE—9I c, JW f gp gu. 这 个 事实 由 微分 学 
的 中 值 定 理 立 即 可 得 ， 对 一 般 的 n, 根据 引 理 3.2, da 
HAY c. y C C, 函数 

Q()-—f(iz4-(1—1)y) (0<t<1) 

EGOK. 直接 计算 | 

9" (t) —- (s—-9)'A(z-- i- ry) (0ct«—1), 
BEI ORREN: 对 任何 0<t<< 二 Po (1) 20, AM (3E 011 
是 是 的. 而 由 GD 的 假定 ， 则 知 在 zy 时， 对 任何 t€ (0，41)， 
9 (>0. 故 9 人 的 在 0<t<I 严 凸 ， 这 就 证 明了 所 要 的 结果 . 


三 、 凸 函数 的 两 条 特殊 性 质 


本 段 所 要 证 明 的 两 条 性 质 比较 特殊 ,在 常见 的 著作 中 较 少 见 
但 对 我 们 今后 的 应 用 却 有 很 大 的 意义 . 如 上 面 已 说 过 的 , 函数 的 凸 
性 总 是 在 (3.5) 式 的 意义 下 , 因而 在 开 集 上 的 凸 函 数 总 是 连续 的 . 
定理 8.5 BSa) NELER ER, ETRA RAG A 
数 , 且 lim f(z) = oo, MEER a7-0 B b, EREN S ER", 有 
f(s)zaiz| 4-5. (3.6) 
证 由 所 设 条件 , 存 在 zo€E FP, ft f (29) - inf f (2) (m). i 


定 bm, W A-—(aef(exkb, B= {e:f (e) =k, Ba ARA 
HIE, B 六 4 的 边界 . ige-min((k—m)/1z—zg|:z€ Bj, 
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则 0<<a 二 oo， 现 在 证 明 当 wE4h 时 ,有 

fE) >a! -s 4-m., (3.7) 
事实 上 ,车 (3.7) 式 不 对 , WFE EA, tE 

f (^) «a [a* —wol+m. 
连接 at 与 ze WRR Bp ma, 由 了 的 同性 ,并 注意 到 a mo x" oa 
的 意义 , 得 出 


f(x) «iml E fiar) - ml em zx f (8) 


«TAA tato 一 %o| --m] 十 |a" mZ L 








jz [z^ 一 2o| 
i dei -— —ul eA 
<T al T st 后 ol 
zd (3.8) 


fH Biz. € B, 4n f (21) — b, EK (3.8) XI BIZ J. 这 就 证 明了 (3.7)， 
Ji b —m —a|zol —a-max(|g —2o] :9y € A7, Wl 34 cc ACHT) 
时 ,有 
| az b«a(|z|— [zol) + mals- z] +m fa); 
而 当 wE4 时 ,有 | 
JG) mm-atjo] — [av] -maxt]g—29]:9€401 ` 
-a|a| -b, 
这 就 证 明了 (3.6) 式 . 
定理 3.6 设 f(w) 为 定义 于 到 上 的 、 其 下 界 为 有 限 的 凸 函 
数 ， 车 存在 一 帅 点 {zw) ,使 Las] 3o, 但 Jo) 并 不 趋 于 oo, 则 必 
存在 一 串 趋 于 ce 的 点 iu), E | 
lim f(y,) inf f (2), (3.9) 
证 Emens), RAN G2, BE fm. G3 X 
Ft, 则 从 中 可 取出 趋 于 oo 的 子 列 (y, $C9.9) mor. E n 有 
界 , 则 存在 收敛 于 某 点 色 的 子 列 ,由 Fe) 的 连续 性 , 显然 有 Jo 一 
mM, 
由 对 {zn} 的 假定 ,不 失 普 遍 人 性 ,可 设 Sae (e 为 有 限 的 )， 
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令 
p. (lenu — A jas u] ) /le -u. 
3 n ZYK, p. € (0, 1), i 
f Q0 x Sf prut (L— p,)2,) «ms f Q0) 4- (1 9.) f (Ln), 
4 n>, 并 注意 p, 1, 由 上 式 得 
lim f (prut (L— 9,)24) =f (u) = 
id Un = Pru + (1—9,)94, 因为 当 qn—oo 时 ， 有 
| "E uu LA | 
[Yn > Pa) [s] — Palu = TEET 
从 而 知 {yw} 即 为 所 求 的 序列 ， 定 理 证 毕 . 
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Ul. Jensen 不 等 式 


设 也 为 nm 维 随机 向 量 , ECXOTEXEHIB. 又 假定 存在 开 凸 集 
0, 使 P(XEO)=1. 
定理 3.7 (Jensen 不 等 式 ) 设 为 定义 于 CO 上 的 凸 函 数 ， 则 
EDf X) XX, H. 
E[f(X)]zfCEGX)). (3.10) 
又 车 于 为 严 凸 且 X 为 非 退 化 的 , 则 (3.10) 中 不 等 号 成 立 . 
证 JurEgpkSA4B A ECOX)CO, Bim ÁfCECX)) 有意 
义 。 现 考虑 集合 
C = ((s, y):2 €0, yf (2)). (3.11) 
利用 C ADER f A Phi os , BAREH O y) rà 
集 ， 其 边界 为 {(o， yaco, y=f (0). E (EX), FEX) 
为 其 一 边界 点 . 根据 定理 3.1， 存 在 过 此 点 的 支撑 平面 ， 记 其 为 
b(y—-f(ECX)))-a'(2— ECX)) 20, 其 中 a 表示 % 维 向 量 4 的 
转 置 ,使 得 对 任 一 (2%, y) EC, 有 by 一 (2B(X)))+o (vB(X)) 
之 0， 注 意 z 为 C 的 内 点 以 及 C 的 定义 , 必 有 20>0， 因 此 ,对 任 
x, y) EC ,有 
yzf Gg X) --d(s-E(X)). 
[A24 2 €C Rt, (v, f(2)) EO, 从 而 对 任何 2EC, 有 . 





fi) 2f GO) vd'(s—ECX)), (3.12) 
以 互 代 (3.12) 式 中 的 o, 两 边 取 均值 , 即 得 (3.10)， 
若 8 为 严 凸 ,那么 C 也 为 严 西 , 则 由 定理 3. 工 知 , 当 cs E(X) 
Bj, (3.13) 式 取 不 等 号 . 又 因 X. 为 非 退 化 的 , 即 有 PCX  ECX)) 
>0, 因而 (3.10) 中 的 不 等 号 成 立 ， 定 理 证 毕 . 
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设 变量 X PDEEARSS BIA, Be), DREAN (Ps, 0c6). 统 
计 推 新 问题 ， 就 是 要 由 OX 的 观察 值 x 去 推断 与 X 的 分 布 有 关 的 
情况 . 因为 X 的 分 布 完 全 取决 于 参数 0 的 值 , 因此 , 统计 推断 问 
题 也 就 是 要 根据 样本 7 推断 与 9 有关 的 情况 ,例如 ,估计 9 的 某 个 
函数 gC(9) 的 值 ,检验 某 个 与 9 有关 的 假设 等 . | 

样本 zz 是 我 们 的 原始 资料 ， 它 一 般 表现 为 一 大 堆 杂 乱 无 章 的 
数据 , 不 便 直 接应 用 . 因此 , 无 论 在 进行 推断 的 准备 阶段 中 、 推断 
过 程 中, 或 者 在 推断 的 最 后 表现 形式 中 , 我 们 都 有 必要 对 样本 进行 
加 工整 理 , 邑 算出 原始 资料 zz 的 某 些 特征 数字 了 (zw)， 它 是 样本 
的 函数 (特别 是 ,与 参数 0 无 关 ), 且 比较 集中 地 体现 了 样本 2 中 所 
包含 的 关于 9 的 信息 , 这 就 是 所 谓 统计 量 。 象 常用 的 样本 均值 、 样 
本 中 的 位 数 、 样 本 方差 、 样 本 相关 系数 等 , 都 是 典型 的 统计 量 . 

上 述 概念 的 核心 就 是 ; 统计 量 是 而 且 只 是 样本 的 函数 , ETA 
ARRE, 从 应 用 的 观点 看 , 多 不 外 乎 是 一 个 数 或 向 量 ， 但 在 一 般 
理论 中 这 一 点 并 不 必要 . 对 统计 量 的 正式 定义 ,各 家 的 说 法 也 略 
有 出 入 ， 我 们 认为 下 面 的 定义 比较 简单 方便 . | 

WO, 2, 9)-(X, 2, P, 0E9) 为 概率 空间 , C7, Ba) 
为 可 测 空间 . 任 一 定义 在 多 上 了 到 值 于 .9 内 的 可 测 变 换 人 一 T(z) 
( 即 ， 对 任何 BC, A T3(B)-(e:T(z) CB) E Z.) 都 称 为 一 
个 统计 量 . 

在 这 个 很 一 般 的 定义 中 , 不 仅 . 的 选择 毫 无 限制 ， 而 且 在 选 
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ETZ, Br 也 可 以 任意 选择 ， 从 理论 上 说 ,对 同一 个 ， 伺 
Br 选择 不 同 ,统计 量 的 性 质 会 受到 影响 ， 在 实际 问题 中 , :9 往往 
为 欧 氏 空间 或 其 一 非 空 Borel FR. GM, Zs 一 般 总 取 为 由 T 
的 一 切 Borel 子 集 所 构成 ， 

也 有 这 样 的 情 癌 : 先 给 定 了 270 T 2), M Be 的 选择 就 在 于 
使 了 J(z) 有 可 测 性 ， 例 如 : 

例 4.1 REZ EET cc RUN IE us Due, R 
ple, 8) -dP.(2)/du., XH o € 4^, VRRET SEC O 上 的 实 函 数 
p(z,-). D Z 记 一 切 这 样 的 函数 的 集 7 — (s, ET}, 
SEXT (2) 一 p(w, -). EX ZWF: BEZ, 当 且 仅 当 T+(B) 
EBs DERW Zo 为 o-iÀ, ETOR, BANT, Zo) 
可 测 变换 , 因而 是 一 个 统计 量 . 

^X 的 分 布 为 Po 时 ,下 ( 立 ) 的 分 布 为 
P(T(X)€ B) - P(T?(B)), BGB. (4.1) 

关系 式 (4.1) 在 Zr 上 定义 一 个 概率 分 布 ,这 个 分 布 称 为 Po (在 变 
换 了 之 下 ) 的 导出 分 布 , 并 记 为 PD， 如 上 所 说 , 它 不 过 就 是 变量 J 
在 参数 值 为 6 时 的 分 布 而 已 ， 这样 ， 变 量 四 有 了 一 个 概率 空间 
(T, Ba, Ph), irh P= (PE, 666). 这 给 统计 量 了 的 引进 提 
供 这 样 一 种 看 法 : 引进 统计 量 卫 ， 等 于 用 概率 空间 CT, Zr, P”) 
来 代 蔡 原来 的 概率 空间 ， 而 这 是 用 T(z) 代 着 原始 样本 记 产 生 的 
后 果 ( 统 计 判 决 问题 的 其 他 要 素 自然 保持 不 变 )。 这 个 看 法 并 非 总 
是 切合 实际 的 , 因为 引进 统计 量 人 ,并 未 排除 再 引进 其 他 (不 由 T 
派生 出 来 的 ) 统 计量 的 可 能 性 ， 然 而 , 当 统 计量 了 具有 所 谓 “ 充 分 
性 ”( 见 本 章 8 6) 时 , 这 种 看 法 是 合理 的 . 


— F ood 
dT HELF (X, Za) 取 值 于 BARAHA. EFE 
Ba 的 一 个 子 c- 域 : | 
T?(45)-—(A:A- -T3(D, BEZ), | 
这 个 e-t uir T HF h oA. BIA, B TAB) Zn " 
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任何 统计 量子 的 导出 c- 域 都 是 ZZ. 的 子 c- 域 . 

由 于 子 c- 域 是 由 统计 量 决 定 的 ， 这 就 引起 人 们 一 种 想法 : 能 
否 用 子 c- 域 来 代替 统计 量 ? 如 果 可 行 , 这 样 做 在 理论 上 的 好 处 ,一 
是 不 需 脱离 原来 的 空间 (和 又， 多 ) 而 去 引进 另 一 个 空间 (7, Ba) 
一 是 从 某 种 意义 上 说 ， d o- 域 更 深刻 地 反映 了 统计 量 的 本 质 . 

514.2 (2^ 225-—(m, Z), .9 = {t:t>0}, Bo HT 的 
Borel 子 集 构 成 的 c- 域 . 考虑 

T;(s)—2, Tó(s)-|«|. 
这 两 个 统计 量 表面 上 完全 不 同 , 实质 上 二 者 是 等 价 的 (由 其 一 个 可 
决定 另 一 个 )， 且 都 在 于 把 两 个 关于 原点 对 称 的 样本 点 简化 为 一 
^v. 如 果 从 子 o- 域 看 , 则 不 难 见 到 ; 二 者 所 导出 的 子 o- 域 完全 一 
SX, Xp R 的 一 切 对 称 Borel 子 集 所 构成 的 o- 域 . | | 
在 比较 简单 的 情况 下 , ET 0- 域 本 身 直 接 就 可 看 出 对 原样 本 
2 作 了 怎样 的 简化 ， 就 上 例 来 说 ， 引 进 一 个 由 R e, (a, 0) 和 
[0, oo) 四 个 集 构成 的 子 o- 域 多， 这 个 子 ac- 域 相当 于 对 原样 本 
s 作 如 下 的 简化 : 所 有 LO 的 样本 简化 为 一 个 值 所 有 OBI 
本 简化 为 另 一 个 值 0 关 4， 这 就 是 说 , 多 是 下 面 这 一 类 统计 量 
T (a) - a, t20; 
c-0 
的 公共 导出 o- 域 .但 是 ， 在 子 c- 域 不 是 那么 简单 的 情况 ， 就 不 易 
看 出 它 对 样本 究竟 作 了 怎样 的 简化 . 

至 于 在 理论 上 说 ， 究 竟 子 o SAWEE IRAE, 需要 
从 以 下 几 点 上 来 考虑 . 

(D 用 一 个 能 办 到 的 事 ， EANES ed lait 
含义 见 下 文 可 知 )? 

(2) 二 者 能 天 彼此 决定 

(3) 在 两 种 概念 andi iio 下 所 产生 的 结果 能 否 
平行 地 彼此 推 过 去 ? | 

dde sh i IPSUM 其 
证 明 将 在 本 节 末 尾 给 


(a+b) 
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定理 4.1 沿用 前 面 的 记号 , 设 fuu (X, ZAAR, anm) 
的 可 测 变换 ， 则 当 Foy TZ.) 可 测 时 ， 必 存在 由 (7 Z) 到 
(R^, 2") je WA o, 使 对 任何 wE 47,8 | 
fæ) - 9T (2), (4.2) 
反 过 来 ,车 存在 这 样 的 9 使 (4.3) 成 立 , 则 了 必 为 T7: (A) REA 
定理 4.2 dno (X, Ah) 上 的 测度 ， 而 n7 为 在 变换 了 
之 下 的 导出 测度 , 则 对 任何 BANER g BEZ, 有 


| us 01 60i) =| Coda" ch. (4.8) 


更 确切 地 说 , 当 (4.3) 的 一 边 有 意义 时 , 另 一 边 也 有 意义 , 且 二 者 相 
等 . 

根据 这 两 个 定理 就 可 以 对 上 面 提 的 第 一 个 问题 基本 上 给 以 肯 
定 的 回答 : ERE E BEER T, 则 表示 日 后 在 进行 统计 推断 时 ,我们 
只 使 用 基于 了 的 (可 测 ) 函 数 , 这 种 函数 是 T 了 1( 乡 ,) 可 测 的 , 反之 
亦 然 . 因此 , 如 把 “使 用 子 o- 域 多“ 理解 为 “日 后 在 进行 统计 推断 
Bj, 只 使 用 .多 -可 测 的 函数 ”, 则 根据 定理 4.1, 使 用 了 能 作 到 的 事 ， 
使 用 全 -区 >) 也 能 作 到 ， 反 之 亦 然 . 定理 4.2 保证 了 二 者 在 积分 “ 
运算 上 的 等 价 性 . 

关于 第 二 个 问题 , 统计 量 了 决定 其 导出 的 子 o- 域 , 这 一 部 分 
是 清楚 的 .反面 的 问题 , 又 可 分 为 两 部 分 : 其 一 是 : 任 给 一 子 03. 
CZ, ERTER T, ETB) =F? WW CZ, Ba) 
不 作 任 何 限制 ， 这 个 问题 的 回答 显然 是 肯定 的 ， 因 为 只 需 取 
Jo—4,5,.-42,] T(s)—v. 但 从 较为 实用 的 角度 来 考虑 , 往 
往 需 对 统计 量 的 值 域 空间 加 上 一 定 的 限制 , 特别 是 , 假定 它 是 欧 氏 
的 , 在 这 种 情况 下 , 就 不 一 定 每 个 子 o- 域 多 都 能 由 某 个 统计 量 导 
H. 下 面 就 是 一 个 例子 ( 即 例 4.3), 验证 是 容易 的 , 我 们 把 它 作为 
练习 留 给 读者 . 

例 4.3 设 (2 及 )= (Bl， 有 为， 要 求 统计 量 的 值 域 空间 为 
(E, 27). VI FRW 本 身 或 其 余 集 为 可 列 "的 集 构成 的 c- 域 
( 空 集 、 有 限 集 都 称 作 可 列 ), 则 :多 不 能 由 任何 统计 量 导 出 ， 
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第 二 个 问题 的 另 一 方面 是 : 如 果 一 个 子 c- 域 C. 能 够 由 
某 一 统计 量 导 出 , 那么, 是 否 会 有 一 些 “ 本 质 上 不 一 样 ” 的 统计 量 都 
导出 这 个 o- 域 ? 如 果 回 答 是 肯定 的 , 则 我 们 就 没有 理由 认为 ， 统 
计量 与 子 c- 域 能 彼此 决定 ， 对 这 个 问题 , 必须 明确 “本 质 上 不 一 
样 ”是 什么 意思 .为 此 , 我 们 不 妨 暂时 引进 如 下 的 概念 : 称 两 个 统 
计量 

T: (X, BF, Br) SIL, Bo >F, Ba) 
等 价 , 若 存在 (9 BANS, 经) 的 可 测 变换 9, URS, BAA 
(T, Br) RERNE p, SEM UE oc 27,78 
s(2) -otT (z)), T(v) -Is(2)]. (4.4) 

不 难 理解 , 如 果 两 个 统计 量 全 和 8 等 价 , 那么 , 即使 其 具体 形式 可 
能 有 很 大 差异 , 但 它们 “在 实质 上 ”是 一 回 事 ， 因 为 (4.4) 说 明了 了 
入 可 以 彼此 决定 知道 其 一 可 以 算出 其 二 、 这 样 ， 我 们 自然 可 
把 两 个 不 等 价 的 统计 量 称 为 是 “本 质 上 不 一 样 ” 的 . 故 问题 归 结 
为 ， 同 一 个 子 o- 域 能 否 由 本 质 上 不 一 样 的 统计 量 导 出 ， 由 定理 
4.1 可 立即 推出 : 若 限 制 统计 量 的 值 域 空间 为 欧 氏 的 , 则 这 个 问题 
的 回答 为 “ 否 ”， 但 是 ,如果 对 统计 量 的 值 域 空间 不 加 限制 , 则 问题 
就 大 为 复杂 化 了 , 不 能 给 出 一 般 的 回答 
“至 于 第 三 个 问题 , 由 于 更 加 复杂 且 不 十 分 确定 , 就 更 难于 给 出 
简单 的 回答 了 。 由 于 与 本 书 今后 的 关系 不 大 , 我 们 就 不 在 这 一 点 
上 作 深 入 讨论 了 . 

综合 以 上 讨论 的 结果 ， 我 们 可 以 认为 : 使 用 子 e- 域 来 讨论 统 
计量 是 一 个 有 用 的 工具 , 但 用 它 来 代替 统计 量 则 是 不 妥 的 . 这 个 
问题 在 文献 中 花费 了 不 少 篇 幅 ， 总 的 来 说 意义 不 大 。 本 书 作者 的 
观点 是 赞成 以 统计 景 作为 根本 出 发 点 而 只 是 把 子 c- 域 作为 一 个 
MBA. 无论 如 何 , 统计 量 所 具有 的 直观 性 是 子 o- 域 所 不 及 的 . 


三 、 定 理 4.1 和 .2 的 证 明 


定理 4.1 的 证 明 定理 后 一 部 分 的 证 明 是 显然 的 . 为 证 前 一 
部 分 ， 取 m1 的 情况 来 讨论 (对 一 般 的 mw， 下 面 的 证 明 先 全 适 
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HD. #Jæ)= la), iH ACT (2), 则 适合 (4.2) 的 8 可取 
A P) =I), ZE BcZrynijA-T (B. Bib, DEI 


fG)-$al4G) (uM ACTI CARD, 


i-1,-0, 0 为 任何 自然 数 ) (4.5) 

的 函数 , 定理 结论 也 成 立 ， 现 设 为 任 一 了 -Bz)- 可 测 函 数 ， 则 

存在 一 半 UO, EEEL, 有 
lim f,(2) =f(2), 


其 中 每 个 。 有 (4. 5) 的 形式 . 因此 对 每 一 mw， 存在 d 可 测 的 了 
UON TENA Vy 有 
f&(z)—o,(07(2)) (n= 1, 2, .…). 
Da p pn(t)， 阁 此 极限 存在 有 限 ; 
aa 其 它 情况 ， 
Jj p Jy Zr- aimi, EOSHEE fI 2,78 
| lim 9. (T (2)) =lim fax) =f (2). 

因而 lim e, CP (s) FFH, WRP REX, HeT(z)-fe.sÉ 
理 证 毕 . 

定理 和 .2 的 证 明 不 难看 到 , 只 需 考虑 B= 的 情况 .又 易 
WEgG)-IO(BeAZwm, ADARA SUE u^ 的 定义 )， 
于 是 用 测度 论 的 标准 证 } RT i 非 负 可 测 
函数 及 一 般 可 测 函 数 的 情况 . 


现 令 


S5 条 件 期 望 与 条 件 概率 分 布 


”条件 期 望 和 条 件 概 率 分 布 是 概率 论 基础 中 的 重要 内 容 。 在 一 
般 的 较 深 的 概率 论著 作 中 有 和 仔 细 的 讨论 (例如 见 [ 蕊 ). 但 是 ,由 于 
这 些 内 容 对 本 书 极为 重要 , 所 以 我 们 还 是 安排 这 一 节 , 以 适合 于 统 
计 需 要 的 形式 ， 把 这 个 理论 中 的 基本 事实 作 一 简明 的 叙述 ， 在 这 
方面 ，[2] 中 ( 见 第 二 章 ) 的 叙述 方式 很 适合 我 们 的 要 求 ， 但 过 于 
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—. 条 件 期 望 与 条 件 概率 


1. 条 件 期 望 的 定义 (对 统计 量 ) 正如 我 们 在 31 中 记 指 出 
的 ,统计 问题 涉及 到 一 个 分 布 族 .但 就 本 节 问 题 而 论 ， 并 不 需要 考 
虑 参数 9 变化 的 情况 ， 因 此 不 妨 设 只 有 一 个 分 布 ， 这样 ， 设 变量 
X 的 概率 空间 为 (2 Ba P). 

设 AS) 为 一 维 随机 变量 [ 即 : £F OR (A, Z2) (EP, 227) m 
测 变换 ] , 其 均值 存在 有 限 , 即 


EFX) =f LOIaP(O<co， 65. 


又 设 了 : ( 么 ,2 一 (7 ,多 z) 为 一 统计 量 ,我 们 要 考虑 在 给 定 了 的 
条 件 下 CX) 的 条 件 期 望 的 定义 问题 ， 这 个 问题 的 直观 痛 景 是 很 
清楚 的 ， 设想 这 样 一 种 情况 ， 在 对 X 观察 后 得 出 样本 z。 但 是 
并 不 知道 v, 因为 观察 者 通过 计算 统计 量 =7T(z) 的 值 后 , 丢 挥 了 
v. 你 所 知道 的 只 是 了 (zw) —£,. 3X p, 站 在 你 所 处 的 地 位 去 看 , 在 计 
算 有 关 的 期 望 或 概率 时 ， 合理 的 作法 是 考虑 zz 们 在 给 定 了 (w) 一 # 
的 条 件 下 的 "条件 值 . 

我 们 在 初等 概率 中 曾 碰 到 过 条 件 期 望 值 的 计算 . E 同 的 是 ， 
那里 给 出 的 条 件 总 有 正 的 概率 。 Wu, EPERE To) =t 而 是 
RET EBBEZr), B P(T(X) € B) 70, WA 


ELf(X)|T€ Ei =| „SOIP /PT EB), ` (5.2) 


但 一 般 说 来 , 对 一 个 1 值 PCT =), BW E (5.2) 定义 
玖 [让 ( 互 )| 玫 = 为 有 困难 .解决 这 个 困难 的 思路 从 整体 性 质 上 去 考 
虑 条 件 期 望 应 当 如 何 ， 而 不 是 对 逐个 的 七 定 义 ELÁCX)|T — 0. 
举 个 浅显 的 例子 ， 要 逐 点 定 出 一 根 细 棒 的 线 密 度 p(z2) 可 能 有 困 


难 ， 但 p(z) 的 整体 性 质 是 , 对 这 棒 上 的 任 两 点 <<2，| .p(e) da 


应 等 于 此 棒 在 [a, 5] 段 的 质量 ， 这 个 性 质 可 作为 定义 线 密度 函数 
po) fit 3E Rl, 而 不 必 对 每 个 去 考虑 极限 


e 





lim [ 棒 在 [x 一 2 十 如 段 的 质量 二 (十 1) 门 . 


h40, k 
我 们 把 这 个 思想 用 于 条 件 期 望 ELX T =t] = ELX) t] 
的 定义 , 显然 , 这 个 条 件 期 望 是 t 的 函数 , AA m OD, 其次, 若 把 
m( 引 在 一 集合 上 再 求 一 次 平均 , 其 结果 应 当 等 于 f(z) 在 这 个 集合 
上 的 平均 , 因为 这 相当 于 在 求 f (2) 的 平均 时 分 两 步 走 : 先 固定 t 
REH, 再 对 i 求 平均 , 它 当然 应 与 一 次 求 出 的 平均 一 致 , 这样, 我 
们 得 到 mm 人 应 满足 的 关系 式 如 下 : 


| caer co/Pran - |... FAP) PCI (0), 
(5.3) 
对 任何 BE Bz，P(T-1(B))>0， 这 里 Pr 为 的 导出 测度 ， 即 
P'(B)- P(T?2(B)), RARUS BUE. (5.3) 式 是 上 面 我 们 指出 
的 “两 步 平均 等 于 一 步 平均 ”这 个 思想 的 公式 体现 ， 由 (5.3) 得 


|, OAPI -| fo) dPls), Beh, (5.4) 


34 PTB) -0 时, (5.9 ARRE. 

由 上 面 讨论 的 启发 , 我们 引进 下 面 的 正式 定义 . 

定义 5.1 在 前 面 的 记号 下 ,所谓 “在 给 定 T(z) ~t 的 条 件 下 ， 
JI) 的 条 件 期 望 ”， 是 指 任 一 满足 条 件 (5.4) 的 、 字 -可 测 的 函数 
m(t). 

这 个 定义 没有 指明 mkF EEE. 因此, FERIRE 
定义 5.1 的 必要 补充 . 

3185.1 设 (5.1) 成 立 , 则 满足 (5.4) 式 的 m(t) 必 存在 ， 且 
Æa. s. PP 的 意义 下 是 唯一 的 . 

证 在 T (Br) 上 定义 


»«A)-j,fGMPG, A€TÀ(H5. (5.5) 


在 条 件 (5.1) 之 下 , > 显然 是 一 个 有 限 的 符号 测度 , E v«P. 于 是 
fk Radom-Nikodym 定理 ,存在 T 1(275)-ny Wig E35 f (v), 使 


vA)=)| FAP), AETA Br), (6.6) 








根据 定理 4.1 及 (4.2)， 存 在 2i ub E mt), 使 了 (2) = 


m(T (2)), 对 任何 ZE , 且 
| | f()dP(z) -| m())dP'(t), BC Wr, 4= 了 -1(B). 
(B.7) 
由 (5.5)~(5.7) 得 (5.4)， 这 就 证 明了 m( 台 的 存在 性 。 又 阁 存 在 
ma(0) ,ma (t) bil D .4), Jii m" m, — m», XHETI BC Zr, 将 
有 
| m* (t) dP* (1) —0, 


由 于 mE) 为 B, A PT(m*(T)—0) — 1, 这 就 证 明了 引 
理 中 的 唯一 性 部 分 . 

除非 有 特殊 声明 ,以 后 在 谈 到 ELA CX) | 如 时 ， 总 是 指 某 一 确 
定 的 满足 (5.4) mE), X, ig EL/CX) |T] Æ m(D) - 
ELIX) |il-r. 必要 时 , 为 了 清楚 起 见 , t ELAOO [G8 
E[fCX)|T-10. 

2. 条 件 期 望 的 定义 (对 子 o- 域 ) 统计 量 人 导出 子 o- 域 
-405 ， 在 $4 中 我 们 讨论 过 统计 量 与 子 o- 域 的 关系 ， 并 提 到 
有 时 使 用 子 - 城 是 方便 的 ， 因此 自然 地 产生 怎样 在 给 定子 0- 域 
的 条 御 下 定义 条 件 期 望 的 问题 . 

给 定 M, 的 子 o- 域 多 以 及 满足 条 件 (5. 了 的 J(z).“ 在 给 定 
J Wed f OD IARE ESX) | ] 定 义 为 任 一 满足 条 


人 7oaPaw-| SAPE), Aes 6.8) 
的 F- 可 测 函 数 关 类 似 于 引 理 5.1 的 结果 及 其 证 法 , 在 此 显然 仍 
NUR. Bb, EL/CO 7 ] 存 在 有 在 @.s,(F， 了) 意义 下 唯一 
”这 个 定义 的 直观 意义 可 用 几 种 方法 解释 : 首先 , 若 Dr e 
4s, o, A, 生成 的 0- 域 ,其 中 AE Z, 两 两 不 相交 , HL) A 
MIELE GO [71 转化 为 初等 概率 论 中 所 熟知 的 情况 , 即 ， 对 
«€ A, (5.8) 中 的 (2) 为 
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f) - ELO A] =p |, SOP a), sE A, 
田 一 个 解释 如 下 ;设想 F =T (2r). F(= ELFCX)| F BEA 
为 了 3) 可 测 ， 故 可 表 为 VCT(z) ) 的 形状 ， 因而 由 定理 4.2， 
4 
| IAP) - | PAPE), Beat, A- T7). 
这 表明 , o) ye AE HIER EUX). DEG, 这样 道 过 子 o- 域 定 
义 的 条 件 期 望 不 过 是 通过 统计 量 定义 的 条 件 期 望 的 另 一 种 表现 形 
式 . 
例 5.1 iX Xi, Xs, 为 2 随机 变量 ， Xi 的 分 布 为 
F. X -—- X, ix 55 uA ls BE Hl C, Br) = =(B", gi"). X 的 
分 布 为 P= 了 x…X， 引 进 可 测 空 间 (F, Zr), 这 里 
T= {tit = (t, e, tn), UKL xm), 
而 Zr 为 了 的 一 切 Borel 子 集 构 成 的 c- 域 ， EX AHE TCX) 
—(Xqy s, Xm), XH Xam Xam XQ Xy cs, X. 
E ACSNSEXBSE SEX), BMK FAE. Wf (2)73 nu Boreol n[ A 
数 ,| 1G) dP (2) «eo, ul 
ELfCX) IT(X)=t] -5 ] z fh, du" t). (5.9) 


这 里 求 和 范围 是 对 (1 2，…， 由 的 全 部 置换 人 而 Chs, 

事实 上 ,由 了 的 Borel 可 测 性 及 (5.9) 式 
HARFER, MARRO DREE m), M mA d v9 
By. 又 对 任何 BE 多 mr 有 


| POPO) - 2- X. | fons s DEF Dd FG), 
| (6.10) 
此 处 A. T1 (B), lc A 为 对 称 的 Borel 集 ,因此 


| Fe s md F (m1) .dF (a) 


=| Feas eg SF (x) dE (2,), 
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对 任何 置换 OS, 6). BEX(.10, 得 
J, n (aP'() =| fin, 1 oo)aF (01) dF (aa), 


这 就 证 明了 (5.9) 式 . 注意 (5.9) 的 右边 与 分 布 FX. 

9. 条 件 期 望 的 性 质 ” 我 们 从 统计 量 的 角度 来 讨论 ， 因 为 子 
G- 域 的 情况 完全 相似 . 我 们 把 条 件 期 望 的 性 质 逐 条 开 列 如 下 ， 然 
后 再 来 证 明 ; 

G) E(e|t)—e, @.s.P?, 这 里 c 为 常数 ， 

(i) XP f(ej«g(m, 对 z a.s. 了 成 立 WI ELFfCX) |t] « 
E[gCX)j|t], e.s. P". | 

由 此 性 质 可 知 , 若 了 非 负 , 则 ELF CX) |t] tb3E fa (o. s. PT), x. 
di a«f«b(a, b HAR), M as ELF CX) |t] «5. (a.s.P”). 

Gui) HEG XT) = ELX). 

这 条 性 质 的 直观 意义 是 “两 步 平 均等 于 一 步 平 均 ”， 这 是 一 条 
常用 的 重要 性 质 . 

(v) Fa b 为 常数 , 则 

E[af (X) 4-bgCX) |t] 
—aE[f(X)lt] -bE[gCX) |t] a.s. PT, 
这 个 性 质 显然 可 推广 到 有 限 项 的 和 . 

在 以 上 这 妃 条 性 质 中 , EET FOX). g CX) 等 的 均值 存在 
有 限 。 这 几 个 性 质 的 证 明 ， 很 容易 直接 从 定义 得 出 ,因此 把 攻 “作为 
练习 留 给 读者 . 

在 下 丰 几 条 性 质 中 ， 出 现 的 FX). Sa X) gX E, 都 假定 
均值 存在 有 限 . 

(v) 单调 收敛 定理 Ug) fi flo) —f (m), 对 
z a.s. P R., 则 

limELf,(X)|]-EL/(X)|ü a.s.P^, — (6.11) 


(vi) 控制 收敛 定理 WE df. [«g(z) n=l 2, «2, X 
z a.s.P RL, H lim f, (a) =f (2), a.s. P, WW (b.11) 3j Yr. 
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(vii) Wt AQ) 罗 半 可 测 函 数 , H 
E[| f(X)]] «eo, EL f XD A (T CX) |] «oo, 


Du 
EUfCX)A(TCX)) |t] = EL£ CX) |t]. a.s. P". 
(5.19) 
现在 我 们 来 证 明 (v) — (vii; | 
(V) 的 证 明 HEERE (让 知 ， 存 在 及 一 可 测 的 函数 9， 
使 


EfgCX) t «EUF.CX) | f o0), a.s. Pr, 
由 积分 的 单调 收敛 定理 知 , 对 任何 BC, 


上 gadPT(D — tim | EUF CX) |t]dP? (1) 


-limf fGPG)-[ FOP), (8.13) 


此 处 A=T(B), (5.19 REH T pO —ELfCX)|t0. 

(Vi) 的 证 明 JE hn (2) —sup f.(2), Ll (2) = inf fe (w), V gCo) 
ham >h) >- -—f (s), a.a.P, 以 及 — (o) «l (o) «la(o) 
二 … 一 f(z)，a.s. 了 ,根据 刚才 证 明 的 (Vv)( 及 其 在 单调 下 降 情 况 的 
显然 推广 ), 可 知 

E[A,CX) |t] ^C f CX) |t], a.s. P (5.14) 

ECX) JISE) I, a.s. P". (5.15) 
再 利用 pa) fao) (n) REG), H (5.14) 及 (5.15) 得 
(5.11). 

(vii) 的 证 明 47 A(t) =Irlt), BEZ r, 则 (5.12) 显 然 成 立 ， 
于 是 ， 由 性 质 Gv) 可 知 ， 当 ACD) 为 有 限 简 单 Z o np IU] 函数 时 ， 
(5.12) 式 成 立 . 对 一 般 情 况 , 作 一 串 有 限 简 单 Z rayi E e UC) 
使 [AC | S [AQ], H Him AQ) - ACOXHETI 1€ 7, 再 利用 (Vi) 
Bp 18. 

性 质 Cvii) 有 一 个 简单 的 直观 解释 :在 固定 全 时, ATRAI 
个 常数 ,因此 可 提 到 期 望 符号 E Bi. MPG 
e 48 。 








E[hCT CX )) |f] 2A(1) ,a.8. P". (6.16) 
由 此 得 到 一 个 在 直观 上 显然 的 结果 . dE hU ruga S= 
A(T), 则 
E(ELfCX)|S]| T] -ELfCX)|8], a.s.P*, (6.17) 
33k ELE[Ff CX) ]S]28 S 的 Borel MWKA, KEX T B Borel 
可 测 函 数 , 因此 (5.17) 成 为 (5.16) 的 特殊 情况 . 另 一 方面 , 也 有 
E(E[fCX)|T]]S)] - EL£CX)]18], a.s.P5, (5.18) 
这 个 性 质 很 容易 由 条 件 期 望 的 定义 直接 证 明 ， 我 们 把 它 作为 练习 
留 给 读者 . 
ET co- 域 的 情况 ,有 如 下 相应 的 性 质 ; 
(vii) B .7i 与 Fa 都 是 Z e HT o- 域 , 730.7, W 
EUGLfFOD T4 GF ELEU£ CX) |.Z31 | F} 
-ELf(CX)]Z3], a.s.P, 
证 明 容 易 由 定义 直接 得 出 . 
4. 条 件 概 率 ”正如 通常 的 (无 条 件 的 ) 概率 是 数学 期 望 的 特 
例 那样 , 条件 概率 也 是 条 件 期 望 的 特例 . | 
| EX 5.2 沿用 前 面 记号 . 设 4E So， 则 “在 给 定 T(X)=t 
的 条 件 下 , 事件 ARREZ” PUDELKA EU CX) |. 
KMW PALF), Fh 2. p T c- 域 .由 于 条 件 概率 
是 条 件 期 望 的 特例 ,不 仅 其 存在 唯一 性 不 需 另行 论证 , 其 性 质 也 作 
为 条 件 期 望 性 质 的 特例 可 立即 写 出 来 ， 例如， 
(i) O«P(A]|t) «1, a.s. P*, 
(i) E[P(A|T)] - P(A); 
(iii) 若 lim 4,— =Á, 则 lim P(A,]t) -P(A|t), a.s. P", 


(v) $ Au Aa, … 两 两 不 相交 ， A= C) An WU 
P(A|t)= > P(A,|t), a.s. PF, (5.19) 


JC At FEQ), (i), GDA IERRA), G), QD EHE 
例 , 而 此 处 性 质 (iv) 是 (这) 的 特例 。 值 得 注意 的 是 : (5.19) 式 中 的 
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例外 集合 与 CA) A. 


E — 


l. 定义 和 存在 性 和 2), 条 件 概率 P(A| 引 可 以 看 
作 是 一 个 定义 于 多 ,x. 了 7、 取 值 于 [0, GHAR, 4 AC 2, 固定 
Bl, PCA| OJ& Zr- 可 测 函 数 ， 且 满 是 (5.19). | 

在 前 面 我 们 曾 特 别 指出 :45.19) 式 的 例外 集 与 {4,} 有 关 . 这 
样 一 来 , 对 任意 固定 的 41E.9 及 两 两 不 相交 的 ACA. 我 们 不 能 


言 P41i)~ EPA), RARA t 可 能 正好 就 在 {4%) 


的 例外 集中 .这 样 一 来 ， 当 固定 时 , 没有 理由 断言 PCADO 是 
鹏 。 上 的 概率 分 布 ， 但 是 不 言 而 喻 ， 如 果 能 有 P(4| 轨 的 一 种 取 法 
(因为 PCA|£) 对 每 一 固定 的 4 都 是 4a.s. P7 唯一 确定 的 ， 故 有 选 
择 的 余地 ), 使 当 t 周 定时 , PCALO JS Z: 上 的 概率 分 布 , 则 在 理论 
上 将 有 莫大 的 好 处 ， 而 且 也 使 条 件 期 望 与 条 件 概率 的 关系 更 显得 
自然 .这 个 考虑 引导 到 下 面 的 重 谈 定 义 . 

定义 5.8 ELEZI LRE P(A, t) KIEA ET 
的 条 件 下 的 正则 条 件 概率 分 布 ( 简 称 为 条 件 概率 分 布 )， 如 果 它 满 
足以 下 两 个 条 件 : 

1° 在 给 定 AC LB, P(A, D 作为 上 的 函数 ， 是 PEOR. 
Eee t)=P(A|t), a.s. P7, l 

* AEETI R, PCA, ffov A WAM, YB, 上 的 概率 

us 

如 果 Pi(4, £f Pa(4， 都 是 条 件 概率 分 布 函 数 ， 则 由 条 件 
1? 得 P,(A, 2) - Po(4 bg.s.P2, 对 任何 固定 的 4E CPI IAE 
可 与 4 有 关 ). 在 这 个 意义 上 可 以 说 条 件 梳 率 分 布 有 唯一 性 .但 
其 存在 性 如 何 ， 则 与 样本 空间 (2 ZAAR. 存在 这 样 的 例子 ， 
其 中 条 件 概 率 分 布 函数 不 存在 ( 见 [ 匡 )， 但 是 ， 有 下 面 的 重要 定 
JR. E l 
定理 5.1 EL, 多;) 为 欧 氏 的 , 则 条 件 概率 分 布 函 数 存在 ， 


dus TT c m — — —— M  ——À —À - —— —À— X X —— 9 
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证 ”为 确定 计 ,， 设 (分 Z= (R, 495. 一般 情况 证 明 完 全 

对 任意 实数 zx, 取 定 一 条 件 概 率 PO, elft, WA 
F(z, 0). 将 全 部 有 理 数 排列 成 rira. OSEE 2 2, menm 
FIE No € Br, fli P'(N,4)-0, MtENSRBI, — | 

Fr; t)«F, t). 

又 由 条 件 概率 的 性 质 Gi), 存在 PER NS, Na RINT, 
使 $ 

lim F (rtt, =F, 0 (HEN, i=l, 2, +) 

noo T 

lim F (n, )=1 CHEN) | 

JimF(-a, 0-0 (4 tEN"), | 
ig N= (UND U CUND UNUN", N Jy P-R, fA iC N 
Bj, F(r, DE v SUS EB BJ, BA — 2&2) 4 钾 数 的 全 部 特征 ， 现 
M GEN 定义 
F(x, t) = lim FE(æ', t), 


Jt 4 R Hog AAE LEREN, ij 932€ N nj, 定义 
F'(o,t) e F'(m, to), BFF, 就 定义 了 Xx f 上 的 函数 E (æ, t), 
它 具 有 如 下 的 性 质 ， 

“1” 当 固定 wz 时 ， Fr*(w, DEH t KRR, A BN 

2 MO tj, Flo, t) 作为 之 的 函数 ， 是 一 个 一 维 分 布 函 
数 ， 

根据 25, d Fw, 蕉 可 以 产生 一 个 定义 在 Zex T 上 的 函数 
P(A, 0, 它 作为 t 的 函数 为 罗 一 可 测 ， 而 作为 4 的 函数 为 Za E 
的 概率 测度 ， 为 了 证 明 本 定理 , 只 需 证 明 : 对 任何 AC AUR 

P(A,t)-P(A|D, a.s.P", |. (05.20) 

以 F 记 一 切 满 足 (5.20) 的 4 的 集 类 ， 则 由 了 (4, £0) 的 定义 过 程 
知 , .多 包含 一 切 有 理 区 间 ， 又 由 条 件 概率 的 性 质 (iii， 易 知 多 为 
~ :单调 类 。 于 是 根据 周知 的 定理 〈 见 团 ) 多 包含 由 直线 上 一 切 
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有 理 区 间 所 生成 的 -R Z, 这 就 完成 了 定理 的 证 明 . 

考虑 到 在 统计 问题 中 ,样本 空间 几乎 全 是 欧 氏 的 , 这 定理 的 意 
义 就 可 想 而 知 了 . 

2. 条 件 概率 分 布 的 性 质 ” 仍 沿用 前 面 的 记号 ,而 且 碰 到 求 期 
望 或 条 件 期 望 时 , 总 假定 它们 存在 有 限 ， 

定理 5.2 EPA, 为 条 件 概率 分 布 , 则 


B[A(X)IH=| f (9) PCs, D, a.s. Pr (B.21) 


证 由 了 (4, DWE, (5.20) 5898 f) - IG) BERGE, F 
是 由 测度 论 的 标准 证 法 , 即 得 (5.21) 式 对 一 般 的 成立. 

这 个 定理 说 明 . 在 条 件 概 率 分 布 存在 的 情况 下 , 条件 期 望 等 于 
变量 ( 即 f(z)) 对 条 件 概 率 分 布 的 积分 , 恰 如 在 无 条 件 下 , 数学 期 
望 与 概率 分 布 之 闻 的 关系 . 

设 条 件 概率 分 布 P(4, DEE, MAT 的 每 个 单 点 集 (0 € 
Zh, W) A= {2:T (2) =t} € B. 

根据 条 件 概率 的 直观 含义 , KAET T-t, 有 理由 期 望 全 
部 概率 集中 在 集 4 上 ， 即 PCA, t)=1， 关 于 这 个 问题 有 如 下 的 
ZR. | | 
定理 5.3 设 条 件 概 率 分 布 P(4, DEEA, EZ, B) 
为 欧 氏 时 ), 且 (2F ，2r) 为 欧 氏 的 , 则 存在 P-R N, W 

P(A, t) -1,4 t€ N, (5.22) 

证 HREH, BRT, Zo) (RU, 27), 一般 情况 的 证 明 完 
全 相似 . 

先 直 接 根据 定义 验证 对 于 任何 BE Zr, 

P(T-(B), t) - Iy(0), a.s. PT. (5,28) 
REE, Le) A WV- 可 测 函 数 , 且 对 任何 B1E Gr, 有 
| Isl) P (5) = P'(Bf1 Bj) = P(T B N BD) 
= P(T-1({B) NT B)) 
- p. Ira (2)dP (2), 
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这 证 明了 I.(0)-—- P(T?(B)|t), a.s. P. 55 —J Wi, TR DAR LEE 
率 分 布 的 定义 ， 有 PTT, t) - PIT7 (B)]t), a.s. P", 于 是 
由 条 件 概率 的 a.s. PT 的 唯一 性 , 即 得 (5.23). 

现 以 Bi, Bs, … W FO 的 有 理 区 间 全 体 , Er à, Fi PI 
FRN, E tENG=1, 2, …) 时 ,有 

P(T^(B), t) - In (0). 
i& N — UN, WN Jy PT—ESR, HHEN 时 , (5.23) 324 B IE 
意 B, 时 成 立 ， 由 于 (5.23) 式 两 边 作为 BEZ 的 函数 ， 都 是 Zr 
的 概率 测度 ,因此 , HEN 及 任意 BC As, 38 (.23), 5.23) 
HREN, 而 B= {i}, R45.22), 定理 证 毕 ， 

这 个 定理 给 “条 件 化 ”以 一 个 很 直观 的 意义 : 给 定 条 件 “TCX) 
一 刀 , WATERERS, Za 了 ) 转 化 为 概率 空间 (4:, Bats 
P(*,0)), X Za 是 由 4 的 子 集 构成 的 o (AD AAE 2). 
在 下 面 的 特殊 情况 下 , 这 个 结果 有 很 醒目 的 形式 . 

HERY, T 的 样本 空间 分 别 为 欧 氏 样本 空间 V, B) 和 
(T, B), X=Y, T), X iE (K, B= (UXT, 
4,x4,). RNA A-9x(. AIE, E t BAER, TAW A 
看 成 是 多， 给 定 工 = 时 并 的 条 件 概率 分 布 ， EREA E T =t 
时 ,了 RRR PUU EK 

PY'(0)— P(Ox (0), t), 
这 里 PA, tué tg T ZT X 的 条 件 概 率 分 布 函数 . 
现 设 f(z) —f (y, tili e 2& 4p (5.1), 则 
EUfCX)] 2 ELAQ', T)) - EGELfQY, T)|T])y. | (5.24) 
而 依 定理 5.2, 有 
BUSY, 2 站 一 | fly, DPE), a.s Pr, 


由 此 及 (5.24) ,得 
BIX) -| | fi, DPED". — (5.25) 


这 就 是 一 般 情况 下 ( 非 独立 情况 下 ) 的 Fubini 定理 . 
， 最 后 , 我 们 提出 如 下 的 注 记 : 上 面 在 考虑 条 件 概 率 分 布 时 , 我 
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们 指 的 是 X 本 身 的 条 件 概率 分 布 。 当然 也 可 以 考虑 任 一 随机 变 
EFCOX)mAT ES, SOE, 2,) 8) C7, Br) 的 可 测 变 
fa. “在 给 定 了 时 (ZX) 的 条 件 概 率 分 布 ”定义 为 1 o (40x 上 
的 函数 PC, t), 满足 如 下 条 件 : 

1° SHERE AES CBr), A 

P(A, Ð - P(A]t), a.s.P*; 

20 Miu tn, PCA, DEN 4 的 函数 , Z6 F7 (2) 上 的 概 

RW FE, 
$6 充分 统计 量 
一 、 基 本 概念 

1. 充分 统计 量 的 定义 ”在 $4 中 我 们 引进 过 统计 量 的 概念 ， 
统计 量 是 对 样本 的 整理 和 加 工 ， 经 过 整理 .加 工 后 , 把 一 大 堆 原 始 
数据 一 一 样本 o 变换 为 比较 简单 的 统计 量 T. BGB FACH HT 
能 在 整理 、 加 工 过 程 中 失掉 一 些 有 关 未 知 参数 0 的 信息 . mix 
带 来 的 后 果 是 ， 如 果 我 们 基于 统计 量 T(w) 对 9 进行 推断 ， 其 效能 — 
可 能 达 不 到 基于 原始 样本 ww 对 9 所 作 的 推断 . 

举 一 很 简单 的 例子 : WU X,-o, X 为 抽 自 正 态 总 体 入 (0, 1) 
的 iid. 样本 ,要 估计 9. .考虑 统计 量 

T mle) = (0, 2$), IKMN, 

这 等 于 只 保留 原始 样本 中 最 初 色 个 观察 值 因而 就 丢 扯 了 后 
n-m 个 观察 结果 中 所 包含 的 关于 0 BUE. mih, 信息 损失 念 
严重 . | | 

因此 ,我 们 希望 ,在 将 原始 样本 o 整理 为 统计 量 T (0) BE, di 
损失 愈 少 您 好 . 如 果 统 计量 T 保留 了 原始 样本 中 所 包含 的 关 
于 未 知 参数 20 的 全 部 信息 , 就 称 它 是 充分 统计 量 . | 

为 了 给 充分 统计 量 下 一 个 严格 的 数学 定义 ， 必 须 找 到 一 种 数 
学 工具 ,以 表达 出 “信息 量 无 丢失 ”这 个 模糊 的 概念 , 我 们 可 以 这 样 
来 分 析 问 题 ， 原 始 样本 > 中 所 包含 的 (关于 参数 9 的 , FEED RU, 
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由 裔 部 分 构成 , 一 部 分 基 统 计量 多 (w) 所 包含 的 信息 ， 曙 一 部 分 古 
TE EUR T (2) =t 条 件 下 , 由 于 进一步 知道 > (设想 : 在 将 % 加 工 为 
中 (z) 后 ， 就 把 o ERT. 形象 地 , 可 以 把 情况 设想 成 : 观察 者 甲 知 
道 xz, 并 由 甲 将 z 加 工 为 T(z), 但 乙 只 从 甲 那里 知道 卫 (z) Thi 
道 zx 带 来 的 附加 信息 。 这 后 一 部 分 就 是 在 将 "加工 为 卫 (z) 时 所 
损失 掉 的 信息 . 因此 , 要 了 为 充分 统计 量 , 则 必须 使 后 面 这 部 分 
信息 量 为 零 . 

”但 是 , 怎样 去 判断 这 部 分 信息 量 是 否 为 零 呢 ? 考察 在 给 定 了 了 
的 条 件 下 , X 的 条 件 概率 分 布 。 因 为 X 的 无 条 件 分 布 为 Pe, 这 个 
条 件 概率 分 布 一 般 说 来 与 9 有关.， 若 情况 果真 是 如 此 , 则 在 已 知 
T(w) 的 条 件 下 进一步 得 到 z%， 相 当 于 从 一 族 与 9 有 关 的 分 布 中 获 
得 样本 , 而 这 当然 会 包含 与 9 有 关 的 信息 ， 反 过 来 ,车 上 述 条 件 概 
率 分 布 与 9 无关, WEBA T (e) 的 条 件 下 进一步 得 到 o, 不 过 是 
从 一 与 9 无 关 的 分 布 中 去 抽样 ， 它 当然 不 会 提供 关于 9 的 任何 信 
”这 样 一 来 ， 我 们 就 抓 住 了 充分 统计 量 这 个 重要 概念 的 实质 所 
it, 且 导 致 下 面 的 正式 定义 ; 

定义 6.1 设 变量 的 概率 空间 为 (2 Za Po, OE0), T 
HENE, Zd) E, 值 域 为 (9 ， 红 ) 的 统计 量 . 车 存在 定义 于 
4,x4 上 的 与 0 无 关 的 函数 9(4, t), BER 0c6110 4c Z ,, 
h | 

PAIN - g(A, D, a.s. PT, (6.1) 
Pr 是 P, 经 过 统计 量 T 导出 的 测度 , P.CA[DJede X 的 分 布 为 Pe 
时 , 在 给 定 了 的 条 件 下 的 条 件 概 率 , 则 称 T 为 充分 统计 蝇 . 

(6 .1) 式 的 意义 就 在 于 此 条 件 概率 与 9 无关. 

我 们 来 考察 几 个 例子 ， 

例 6.1 考察 例 5.1, 在 此 例 中 ,于 = (Xs s, X2, Xs 
X, 为 iid., X. 的 分 布 为 也 , F 属于 某 个 一 维 分 布 族 V. T NV 
序 统计 量 ， 由 (5.9) 知 ， 给 定 T 了 时 芋 的 条 件 概率 与 了 了 无“ 

在 (5.9) 式 中 取 f(%) =J4(z), AEZ). BIDUO, TEASE DIT 





序 统计 量 是 充分 统计 量 ， 这 个 理论 结果 相应 于 如 下 的 直观 事实 : 
在 各 次 观察 都 在 同样 条 件 下 独立 进行 时 ， 观 察 结果 的 次 序 没有 什 
AEM, M: 我 们 只 需 知道 全 部 ”次 观察 结果 , MERANER 
个 结果 是 在 第 几 次 观察 中 得 到 的 . 
例 6.2 i X—(Xi--, XQ, Xi, 0, Xa J iid., H X, 
有 两 点 分 布 : 
P(X =81) =607 (1—0),  (v,—0, 1, 0<0<1)., 
(6.2) 
这 相当 于 从 一 批 废品 率 为 g 的 产品 中 有 放 回 地 抽出 ”个 ， 以 估计 
9， 从 直观 上 显然 ,如 果 我 们 知道 了 (2) =$ os, 即 样品 中 总 的 庆 
品 个 数 , 则 进一步 知道 究竟 这 些 废品 是 在 娜 几 次 抽 得 的 , 已 经 没有 
意义 ， 也 就 是 说 , 了 (2) ~ 总 w 是 一 充分 统计 量 ， 这 个 事实 不 难 由 
定义 6.1 严格 证 明 . 事实 上 ,有 MEME 
P.CX gc x,-«T-0- (^) ， . (9.8) 


这 里 # 一 0, naO AD ai EREN, PE% 
件 概率 为 0， 因为 (6.3) 式 的 右边 与 9 无关 ， 这 证 明了 了 的 充分 
i. 

516.83. UU X-—(X,--, X), Xio, Xn N iid., B Xs 
NGO, 1), 为 估计 ,一 般 用 E- SX, REAM EEH.: 
在 知道 了 及 后 ,进一步 知道 原始 样本 X. 已 没有 什么 作用 ,虽然 这 
个 直观 并非 明显 ， 下 面 我 们 证 明 ,了 (2) —2 确 为 充分 统计 景 . 

如 果 我 们 直接 去 计算 在 给 定 了 时 X 的 条 件 概率 分 布 ， 则 计 
算 比较 复杂 ， 我 们 用 如 下 的 办 法 : 作 正 交 变 换 

Y,- n, 
Y= oT ($—2, 3 n), 
率 论 中 周知 的 事实 ， 太 。， oe, Yugon, HYseNQ, 1) 
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(i=2, …, n). 显然, X 对 原样 本 X. 的 充分 性 等 价 于 了 对 (了 

Yo 的 充分 性 ， 而 这 立即 从 定义 得 出 。 因为 了 :，…， Yn EM 
立 的 ， 故 给 定 YiBp Ys e Y.) 的 条 件 概 率 分 布 就 是 (了 了 3，…， 
了 ,) 的 无 条 件 分 布 ,而 后 者 为 m 一 个 标准 正 态 分 布 的 卷 积 ,与 9 完 
AA. 

在 结束 这 一 段 以 前 ， 我 们 给 出 关于 统计 量 的 充分 性 的 几 点 注 
iu. 设 变量 X KEKSE, Zz, Po, OTO). 

1” 若 统计 量 

T(K, BT, Br) 

有 充分 性 ,而 OCO, ME X 的 分 布 族 压 缩 为 (Po, 06600 R,T Hj 
有 充分 性 . 

证 明 是 显然 的 . 

2” 设 统计 量 了 充分 , mAN S, B>, Ba 与 工 
等 价 (统计 量 等 价 性 的 定义 见 (4.4 式 ， 及 该 式 上 面 一 自 的 说 明 )， 
则 S 也 是 充分 统计 量 . 

证 由 统计 量 S TS, ,直接 根据 条 件 概率 的 定义 ， 即 
得 Po(4|S) =P(A|T)| r-z. FER PAIT) 与 0 无 关 即 得 
P,(A]8)5 0 无 关 ， 

这 个 性 质 基 本 上 是 说 ; 对 充分 统计 量 进行 一 对 应 变换 不 志 


REIHE. Hel o.sob, dX 的 充分 性 可 推出 = 与 ( 衬 工 ) 


都 是 充分 统计 量 , 等 等 . 

2. 因子 判别 法 ”直接 从 定义 去 验证 一 个 统计 量 的 充分 性 是 
很 麻烦 的 , 因为 涉及 条 件 概 率 的 计算 .不 过 , 好 在 关于 统计 量 的 充 
分 性 有 一 个 很 一 般 的 判别 法 .这 个 判别 法 的 比较 简单 的 情况 由 
H. Cramer 在 [3] 中 证 明了 ， 一 般 情 况 是 Halmos 和 Savage 在 
1949 年 证 明 的 ( 见 [2).、 本 段 我 们 先 提出 这 个 判别 法 并 举例 说 明 
其 应 用 . 严格 的 证 明 放 在 6.3 段 ,初学 者 在 第 一 人 遍 读 时 可 略 过 这 
个 证 明 , 不 影响 对 本 书 以 后 的 理解 . | 

定理 6.1( 因 子 判别 定理 ) ULT HAY, Za P, 9€0)8j 
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(7, 2go) 的 统计 量 ， 又 设 存 在 Z, by o- 有 限 测 度 u, E Pn 
Xj—90)0c0 U Pele) Po X} u A Radsm-Nikodym 导数 
QPo(z)/Qmw， 则 了 为 充分 统计 量 的 充 要 条 件 是 : 存在 定义 于 和 上 
IEM Za MAR Aa), URIE 9EB， 存 在 定义 于 上 
的 Zra MRR get), 使 得 9E68 有 
Pols) — ge(T'(z))h(z), a.s.w, (6.4) 
注意 : 上 式 中 的 例外 集 可 与 0 有 关 . 
例 6.4 设 互 服从 本 章 (2.1) 式 所 定义 的 指数 族 分 布 ， 记 
T (2) = (T4(2), =, T«(2)), (6.5) 
Wm ETE up T 是 充分 统计 量 . 不 难看 出 , 916.2 5 
6.3 都 是 此 例 的 特殊 情况 . 又 如 Xs, o, Xa H iid., Xi N(a, o), 


6— (a, c), W T - (X, S) ARARE, URP (zi 一 
Xy, EH 2.2 5,35 8 BA, M mo, HET Q0) - 33 m 为 充分 


RHE. Fa BERAN O- ( B), W Ta) - (22s, $ loga) 


为 充分 统计 量 , 等 等 . 由 于 很 多 常见 的 分 布 族 都 是 指数 族 , 故 本 例 
有 很 大 的 意义 . | 

由 因子 判别 定理 得 出 指数 族 一 个 重要 特性 ， 不论 样 本 大 小 n 
多 么 大 ,指数 族 有 一 固定 维 数 的 充分 统计 量 . 实际 上 , 车 Xr …， 
之 ,为 取 自 分 布 族 (2.1) 的 iid. 样本 , X= (Xa, 0, X, X B9 
分 布 为 


pi (a)n =0"(0)oxp[ 31 QO TPs) ]au'", 


此 处 uu ox ox y, TPQ) 3T G0. PER TORRE RERBA 
To (z) - (T? (z), =, Ty? (9) 为 充分 统计 量 ， 其 维 数 i n F 
关 ， 在 一 些 补充 假定 下 可 以 证 明 ， 这 个 性 质 是 指数 族 的 特征 性 
质 

下 面 举 几 个 例子 , 其 分 布 族 中 的 分 布 不 具备 共同 的 负荷 集 . 

例 6.5 设 Xu o, Xa HIEI Ah RO, 6) iy iid. 梯 
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4,070, X—(X, 码 ) 的 密度 函数 (对 厂 测 度 ) 为 
De (v) — 8 "los mr, 24«0) (a). 
由 此 表示 式 用 因子 判别 定理 ， 即 知人 了 (2) o max ai 为 一 充分 统计 


量 . ， 


例 6.6 i Xi o, X. 为 抽 自 负 指 数 分 布 
-1 ANS. dnd s 
fs o, -| E in 
0, DKA 
的 iid. 样本 ，B>0, —eo-a-oo, 0—(oa, B). iX Adv 
元 件 的 寿命 问题 时 很 常用 在 这 种 解释 下 , 可 以 看 成 是 有 nn 个 元 
件 参 加 寿命 试验 ,第 i 个 元 件 的 寿命 为 X. | 
在 所 谓 “ 截 尾 试 验 ” 中 ， 我 们 只 观察 到 一 定 个 数 ( 如 7 个) 元 件 
失效 为 止 , 也 就 是 说 ,车 以 CX co, Xo) dd Xs co, XS WKF 
统计 量 ， 则 我 们 实际 只 观察 了 Xn, cc, Xo. DEEH CRUS 
uE FI A EAE I 001) CX s cns X). 的 密度 函数 (对 上 测度) 为 
| > £t (n—r) iar, 


1 
acr ep |- B 
J (2a, t, Toy 8) E M4 £4) > 0 


0, 当 Ta Sa 
Sro 十 (nm 一 r) Ter) } 


rl T 一 一 一 一 一 -re -m/exp{ — 3 


Ia a). 
由 此 表达 式 并 用 因子 判别 定理 ， B PIER Xo, 3 Xo+ (n- 
AXo ) 充 分 ， 因 而 与 之 等 价 的 统计 量 (Xo XXot(n-0Xa 
—(n—-1)Xa, ) 也 充分 . : 


二 、 充 分 性 原则 
1 引言 和 一 个 引 理 ”前面 讲 述 统 计量 的 充分 性 时 ,我 们 是 从 
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“不 丧失 样本 中 包含 的 关于 0 的 信息 量 ” 这 一 角度 着 眼 的 . 但 是 ， 
将 样本 简化 的 统计 量 ,不 是 为 简化 而 简化 , 而 是 为 了 将 其 用 于 统计 
判决 问题 . 既然 充分 统计 量 包含 了 原始 样本 的 全 部 信息 ,因而 自 
然 地 使 我 们 有 理由 认为 ; 使 用 充分 统计 量 代替 原样 本 以 进行 统计 
推断 不 应 使 我 们 丧失 任何 东西 . 更 确定 地 说 : 凡是 用 原始 样本 能 
达到 的 ， 用 充分 统计 量 也 能 达到 . 所 有 关于 这 一 点 的 正面 论断 都 
称 之 为 充分 性 原则 . 

在 确切 陈述 并 证 明 充 分 性 原则 以 前 , 我 们 需要 一 个 引 理 . 

引 理 6.1 沿用 前 面 的 记号 WRK, ZA AKEH, 
而 了 为 充分 统计 量 , 则 存在 定义 于 Zx I EREA k P(A, t), 8i 
足以 下 条 件 : 

1^ 对 任何 固定 的 1E.F，P(A, 0 作为 Z, 上 的 函数 ， ii 
概率 测度 . 

2 对 任何 9E9 及 ACA, dH 

P(A) =P(A, t), a.s. PZ, 

“根据 前 面 关于 条 件 概 率 分 布 的 定义 , 这 个 引 理 无 非 是 说 在 样 
本 空间 为 欧 氏 的 时 候 ， 对 一 切 8 存 在 公共 的 (在 给 定 了 时) 条件 概 
率 分 布 . 

本 引 理 的 证 明 与 定理 5.1 的 证 明 完 全 相似 ， 只 需 注 意 ， 由 
于 了 的 充分 性 ,定理 5.1 证 明 中 的 P(( 一 co, | 在 此 处 用 
Po(( 一 co, JAREN, HERS ORA, HDT Fle, t), 
证 明 的 其 余部 分 无 差别 . 

2. 随机 化 判决 函数 下 的 充分 性 原则 

定理 6.2 REESE, ZAARREN, TERA 
E, 多 是 [以 (2 Be P4, 9E@) 为 概率 空间 的 ] 某 一 统计 判决 问 
题 的 全 部 (包括 随机 化 的 ,下 同 ) 判 决 函 数 ,而 Pr 为 只 依赖 于 了 的 
全 部 判决 函数 , 则 2r 构成 多 的 一 个 本 质 完全 类 .， 

o 这 个 定理 确切 地 表述 了 “充分 性 原则 ?的 含义 ， 当 统计 量 罗 为 

充分 时 ， 若 合用 某 个 楚 于 原始 样本 的 判决 函数 8 得 到 风险 函数 
RCB, 8), 装 可 以 找到 一 个 只 依赖 于 工 的 判决 函数 òr, 其 风险 函数 
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RCo, 5») 满足 条 件 R(0, 87) R(0, 9) 对 一 切 gE@， 这 说 明 : 在 
将 原样 本 简化 为 统计 量 全 时， 从 风险 的 角度 看 不 致 六 失 任 何 信 
B. 
定理 的 证 明 DICA, Z.) 记 行 动 空间 ， 用 上 (96, a) WRR A 
SX. 任 取 判 决 函数 Die), H8 (1.2), 其 风险 函数 为 
RO, 5-| .| ze a)8 (da |z)dP,(a), 


由 于 也 为 充分 统计 量 , BOT, BAKRA, MESM 6.1, 存在 
公共 的 (对 一 切 9 有 效 的 ) 条 件 概 率 分 布 P(4, .引进 只 依赖 于 


了 的 判决 函数 ttr. 


à*CD|0) =È (Dla) PCs, i). 


关于 5* 确 为 判决 函数 的 事实 ,不 难 根 据 1.2 节 (一 ) 中 关于 判决 函数 
的 可 测 性 的 要 求 来 证 明 ( 建 议 初 学 者 仔细 写 出 这 个 验证 过 程 )、 有 
R(G, 8*) - | | LO, aè" (dal DPI CO 


-| f 1, (f, ada] PC, 6 asco 
-| | | L(0, a)8(da|z) P(dz, t)dP$ (t) 


=| | LO, oCdalw)dP,(w) =R, 9). 


在 这 里 , 第 三 步 用 了 一 般 的 Fubini 定理 4(5.25) 式 )， 第 四 步 用 了 
定理 4.2, EREE, 

这 个 定理 的 好 处 是 . 它 对 损失 函数 和 行 了 动 空间 没有 任何 要 求 . 

3. 非 随 机 化 判决 函数 下 的 充分 性 原则 

定理 6.3 REESE, BdA 为 欧 氏 的 ， 而 行动 空间 A, 
G1)= (BR", Z”), 对 某 个 自然 数 m, LEMEK KA LO, a) 有 如 
下 向 性 质 : 

1° 对 任何 8€8, L(68, a)X R* 上 的 凸 函数 (在 (8 -5) 式 的 意 
SLT 

2” 对 任何 9E6, 有 lim LO, a) 一 co。 
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U T 为 一 充分 统计 量 , 2 为 一 切 非 随机 化 的 判决 函数 的 类 ,而 Pr 
为 一 切 只 依赖 于 了 的 非 随 机 化 的 判决 函数 的 类 , 则 2v 构成 乡 的 
本 质 完全 类 . 

证 根据 引 理 6.1， 存 在 与 9 无 关 的 条 件 概 率 分 布 P(4,4)， 
任 取 5E 人 多 ， 令 


o= fi: f. 8 (2) IP (da, 0) «eol, 
然后 定义 只 依赖 于 + 的 非 随机 化 的 判决 函数 
| 5(z)P(dz, t), *4t€0; 
o(a) = 17 | 
0, 当 tEO, 
则 由 Jensen 不 等 式 (定理 3.7) 有 
L(0, ** (Gy) «| 146, 5))P(da, D, t€ C, — (9.6) 
又 由 本 定理 假设 , 用 定理 3.5, 可 知 对 任何 9€6, 存在 常数 o 
E bo, L(0, aoa) 之 olal 十 5b。， 于 是 当 tEO 时 ,有 
| 16, 8()) Plds, DI) 13D Pad, t) += oo 
(6.7) 


T (a) —t, 


由 (6.6) 及 (6.7) 知 ,对 一 切 4E.9 ,有 
L(g, <| LO, 5(2)) P(ds, 0, 


因而 
RO, 8) -| LO, SAPEO | 
<| | L0, 5) Pde, DaPz Co 
-| L0, 5(2))dP,(2) = RY, 85. 
定理 得 证 . 


可 以 举例 证 明 ( 见 第 四 章 例 )， 当 定理 中 的 条 件 不 成 立时 ， 本 
定理 的 结论 可 以 不 对 。 现在 还 不 完全 清楚 的 是 ; 在 非 随机 化 判决 
函数 类 中 的 充分 性 原则 还 在 哪些 其 他 情况 下 有 效 ， 
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可 以 证 明 : 在 一 定 条 件 下 , 充分 性 原则 的 道 亦 成 立 , 即 : 若 一 统 
计量 下 具有 在 充分 性 原则 中 所 表述 的 性 质 , WT 必 是 充分 的 ， 在 
d EE 


m 因子 判别 定理 的 证 明 


这 个 定理 的 证 明 比较 长 ， 先 作 一 些 准备 工作 . 设 {1} 和 b 为 (2, Pa) 
上 的 两 个 测度 族 Cu， r 分 别 是 这 两 个 族 中 的 “代表 )， 如 果 由 条 件 ， 对 任 一 
4c5, 
对 每 一 有 4(4)=0. 
可 推出 对 每 一 vE (vh 有 v(4)=0. 
则 称 测度 族 v) 为 测度 族 (u) Mt t iah. hda R {e} 
{7}, 则 称 (du) 与 (ebd ds isbe( . 
容易 证 明 ,车 几 为 8: 上 的 c- 有 限 测 度 ， ROOMET: 有 表示 只 包含 一 
个 测度 的 族 ), 则 必 存 在 2. 上 的 概率 测度 ws, 使 tj «pt. SEXE ELA 
WE, RI iE nC) 008, 2 结论 显然 成 立 )， 这 时 ,出 于 几 为 o- R, 存在 一 
串 两 两 不 相交 的 {4}, LU 4f BE Op (A) «oo (Gi—1, 2, =), XX 
ut) 23 EE. (AEZ), 6.8) 
则 易 见 w* 即 为 具有 上 述 性 质 的 概率 测度 . 
引 理 6.2， 设 2= (P, 9E@) 为 4, 上 的 一 族 概 率 测度 , 则 2 为 2, EX 
一 -有 限 测 度 几 所 控 的 充 要 条 件 为 : 存在 @ 的 可 列子 集 O, 使 
S -(P,, 00^) (6.9) 
证 充分 性 显然 , 因 若 (6. 9) 成 立 , 则 将 @' 中 的 元 排列 为 £u 0, …， 取 


p= PEE: 即 可 . 
现 证 必要 性 : 设 PKH, e 为 ac- 有 限 测 度 . 由 上 面 的 说 明 , 可 设 几 为 概率 
测度 ， 引 进 测度 族 
2-— 10: Q= D Pep 0,c 0, a,7 0, 32-1), 
易 见 9-23, XH T Qc2, aa) -dQ()/dp, Bi 
F= {CC EPn ERQE, f$ n (C n ix2q (0) —0)) —0), (6.10) 
E F muB 10.3, 使 


lim p (C4) =sup uo GES «o, (6.11) 
| 在 riy dux Ces, 都 有 : 某 个 QE 与 之 相应 ， 设 与 C, TB ZR DUI 
e na e 











i$ 73 Qu M u= d:d, EF 
Co =Ü 0s Qo -39/2, o= q«/2*, 
则 Qo € 2, H. go —dQo/dp, H. 
(Co) 2supin (C) :C € 91, (6.12) 
又 因 


CoN {zzgl =0) <E pn itam) —0)) —0, — (6.13) 


可 知 CoEZ， 因此, (6.12) 式 实际 上 等 号 成 立 . 
显然 , 若 能 证 明 2«Qo, 也 就 证 明了 (Po 9E@) K {Pop i=1, 2,…}. 设 
AEF: H QA) =0. 对 任 一 取 定 的 Qc 2, id 


C= (z:q (27) 01, (6.14) 

则 因 QANC) =0, 有 i 
um s fl Co u iria (2) s 0r) x EN qo (adi, 
可 知 pCAn Con {z:goCz)>0}) — 0. 
将 此 式 与 (6.13) 结 合 起 来 ,得 n (An Co) —0,. 再 由 2«p, "E 
QANOo) —0, (6.15) 

Big C 的 定义 (6.14), 得 

QAN Cong) =0 (6.16) 
(Co 一 2 Co 等 等 )、 若 能 证 明 | 

QAN NC) =0, (6.17) 


Mh (6.15) ~(6.17) 得 8(4) =0. XRF. 因为 8 是 从 2 中 任 取 
的 ,得 2<8Qo， 如 上 所 指出 的 , 这 将 完成 引 理 的 证 明 . | 
用 反 证 法 : 设 (6.17) 式 不 成 立 , 即 QCAn ConC)>0. id 


Q*—(Q--Q, a= (gtg) 0"=CouC4ngon0)， 


显然 ,9 E 2 又 因 g*—dQ"/dp, 及 
WO*N {z:g*(z) =0}) <u (CoN {21g —0])—- 0 (6.18) 

[(6.18) 的 后 一 式 根据 (6.13); 前 一 式 根据 {:g*@)=0}c {z:qo(z) 一 0}， 
iz: q* (2) —0 Fc 12:4) = 0M MR 及 CN ix: q(2) — 01 = (z2q(2) > 0E 1 £z: 
q(r)-0)—9] "An C*es.. 于 是 由 (6.12) & QCAn Oo n0 >0[ 它 推出 
p (An On C) - 0] 
| p(C*) — (09) - (An Oo C) S> p(0o) »supíp(O) :0€ $3. 
这 与 C* E 多 矛盾 ， 从 而 证 明了 (6.17), 于 是 完成 了 引 理 的 证 明 . 

引 理 6.3 设 (2 9e) 上 的 分 布 族 (Pe，9E@) 等 价 于 其 一 可 列子 族 {P。， 
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i21,2, h. d A- 3a P. dba Od Dal, 设 了 为 定义 于 2 上 


HAC, AMERRE. 则 了 为 充分 统计 量 的 充 要 条 件 是 : 对 每 个 
OEO, 存在 和 -可 测 的 非 负 函 数 yc( 妃 ,使 
dP,(x)/dA-—gs,(T(zx)), a.8.^, (6.19) 
证 记 入 ==T 1(9Br)。 为 证 充分 性 ， 只 需 证 明 对 任何 0EQ 及 Ac, 
有 
ACALT (3)) =P, (ALT (2Y), a.s. Ps. (6.20) 


此 式 证 明 如 下 : 任 取 BEZ 有 
PC4nB)=| daPsO =| os CT Ga 


id = [ Ge Cri). 
-| E,[I.Q)geCT (2) ) | T (2) ]8À 
总 | , ExEIa C |T 2) Jg CT (2))dA. 


= | EEG) T G) P». 
这 里 第 二 步 用 (6.195, 第 四 步 根 据 条 件 期 望 的 定义 及 了 召 E2， 最 后 一 步 是 央 
33: ge T (2)) 3g 多 -可 测 , 故 由 (6.19) 知 ;在 基本 概率 空间 为 4220，Po) 时 ， 
仍 有 dP) /dA —9,(T (x)), 2.8.5, 
现 证 必要 性 ; 设 了 为 (X5 4, Po OEO) 之 下 的 充分 统计 量 . ER 
A€4,, 存在 与 9 无 关 的 条 什 概率 P(41 力 .对 任意 的 Beo 有 


f PKA TG)4P G) - PKAn B). 
由 于 此 式 对 任何 0E@ 成 立 , 考虑 到 入 的 定义 ,有 
f PAITEAG) 7X4 n2). 


因此 , 在 基本 概率 空间 为 (2 2. 和) 时 ，BR(4| 乡 也 是 在 给 定 工 之 下 的 条 件 概 
mg, 根据 定理 4.1, 存在 ~ 可 测 函 数 golt), 使 当 基本 概率 空间 为 (2 So ET 
CEPHE P。、 和 都 看 作 Bo 上 的 概率 测度 ) 有 


APE) /dA ge Tw)), a.5. (d, X). (6.21) 
现在 证 明 : 即使 在 基本 空间 取 为 (9 2) DE 
dP, (x) /dk gs (T (2)), as. (A, À), (6.21) 


证 明了 (6.2 人 也 就 是 证 明了 (C6.19)， 从 而 将 完成 引 理 的 证 明 。 为 证 (6.21)， 
任 取 4ESgp 有 
+ 55 。 





PA= | PITOA = | BILO UG Ps) 
=f ELCO Ur Ge CT ENAME) 
= | BII EOU 00 TOJE) 
= [ 14609 T JAMA) 


= Jost AIE), 

这 就 证 明了 (6. 21)， 在 上 面 这 一 系列 等 式 中 , 第 一 信 是 根据 条 件 概率 的 定义 ， 
第 二 个 是 根据 (6.20), 第 三 步 利用 (6,21) 以 及 BLL T0] go- 可 测 ， 
最 后 两 步 是 显然 的 、 引 理 证 毕 . 

现在 转 到 定理 6.1 的 证 明 ， 在 定理 6.1 中 的 假定 下 , 根据 引 理 6.2， 存 
在 CP; 0c 0) 的 可 列子 族 {Po i = 1, 2, e, 等 价 于 (Ps, 8ce. id 
=- 习 Po/2!、 先 设 了 为 充分 统计 量 ,由 引 理 6.3 知 

dP, (2) / d gs, T (2)], 0.s.X. 

XB «nd | 

dP, (2) /dp —- (APE) /33) (A (2) / dp)  g(T ())h lE), a.p, 
OR AG) e dAGO /du, 这 就 证 明了 定理 的 必要 性 部 分 . 

NIBUS Dx. M 


da(s) = > ar ga CT (5) )h x) dp (x) =E (T (2) )h (3) p), a .8. pb. 
EAE K Q) 3190/2". 4 


ge(D/k(, H k(t -0 
ga) = io 当 k(D-—0 
HAE A«u, P4«A, 由 Radon-Nikodym 导数 性 质 ， 


SESSEL (zm y(2&e.- i ET G7], a. 73 A. 


于 是 根据 引 理 6.3 得 知 : T 为 充分 统计 量 。 定理 证 毕 . 


问题 与 习题 - 


l. ib X, Xn H iid. 随机 变量 ,Xi N(b, 02), — eo «b «6o, 0270, 
问题 是 要 估计 均值 b。 在 平方 损失 LOO, 0?), a)= 0-a) F, A: OE 


e 56 >» 





Eee————————— Lo erc ie eh i 





” 符 在 一 致 最 优 的 估计 ; (ii)b(z) me 《常数 ) 是 容许 估计 ; 《iii) 当 |c|>1 时 ， 
6(z) —cX 不 是 容许 估计 . 

2. 设 2 一 {0, 1, 2, A3 EUH Puce - (7 a-o, 
ies, oed, i. HAERA MARAR LO, a)- ur 
ac A- |I. 2]. WO BERTERESVCHASE 2S h R JE BILL CR SES ug 
 Minimax 估计 . 

3. i Xy o Xa X dd. 随机 变量 , Xo N (0, 1), ~ <0< co。 EE 
方 损失 下 ,证 明 (2) =F 为 9 的 Minimax 估计 . 

4. 0, 25) LERROA d£ (0) — o(0)40, 并 设 真 参数 值 为 96 时, X 
的 概率 密度 为 psz)dz， 则 判决 函数 5(z) J Bayes 解 (对 某 一 给 定 判决 问 
ED; 如 果 它 使 积分 值 | LO, 80) 012540 达到 最 小 (这 里 m (012) = 
POPLE) | oP), Meroe a Moe Re CO 的 条 件 ( 后 验 ) 概 
RZE, 

o. itg 9-—Os U6,, O&g(10,—0, 检验 零 假设 Ho: 90EBa; 对 
立 假设 HbO. 行动 空间 A= (ao, a, 其 中 oo、a1 分 别 表 示 接 受 和 拒绝 
零 假设 ， 令 损失 函数 为 | 

0, 34 0C Os, a= R OEO, a—a; 
L(0, a) -| c, 34 0c 0.,, aas; l 
d, 4 0c Og, a—a;, 
Ehoed 为 正常 数 . 利用 第 和 4 题 来 证 明 : 如 下 定义 的 判决 函数 为 Bayes fg. 
当 ep(9€ 9,12) «dP(6 € O4 la} 时 , 令 Òl) ^ai; 否则 , 令 (m) =a, 
6. iE X—-N(0, 1)，- 吕 <9<oo， 设 损失 函数 为 
LO 3-[7 l0—a| «1; 
i i, 19—al>1, 
aCA-(—25, o9), Xt 0154585231833 NO, 9, v0 为 常数 , 求 Bayes 
HRE Bays 风险 . 
“7. BUE Xs Xo, Xo 相互 独立 ,Xi R(0, 60,00, oo (i—1, 2, 3). 要 
H Cr Ta LKFR Oi, 0», Os 谁 最 大 ， 行 动 空间 A= {a aa a}, H a 
表示 认为 9 最 大 G1, 2, 3)， 取 损失 函数 工 ((9 05, 03), a) = 3 一 ro 这 
E ri J 0, 15 01, 6», 0s 中 的 秩 : 即 当 0,— max(04, 05, 03) 时, 07,—3; 0,— min 
19, 02; 03Y 了 时， =l; 其 它 情况 7 二 2. FARAUT: ó(ni, X9, 93) — 
当 zo —mnaxin, T2) zs} (71, 2, 3). HA 6 的 风险 函数 。 
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8. ERRATZ LO, a) dio x d, 可 测 函 数 ; 5(z) 为 t, 可 测 函 数 ,对 
任 -- B€ 2, P.) 5g 0 ig -可 测 函 数 ,并 假定 对 每 一 9， 


fo, B (xy) dP, (2) «oo, 


证 明 : 它 必 为 6 的 go STR GR | 
9. 把 §2 中 的 各 例题 写成 指数 族 的 标准 形式 (2.3)， 
10. 设 单 参数 一 维 指数 族 e(9)e* pz) 的 自然 参数 空间 为 6 a, 0), 
上 的 负荷 集 的 上 确 界 为 5， 则 对 任何 zo<5, 有 lim eC9)erm=0。 


ll. 举 出 这 样 一 些 单 参数 一 维 指数 族 c(0)e?" di (5, 使 : (让) 自然 参数 空 
HALa œ); G BA XU RRD7g Ca, y; Qi) BARS CERIS (a, b); Gv) 
自然 参数 空间 为 [a, 5); MY) 自然 参数 空间 为 Law, b), 28 0=b hi, X B r0) 
BLUR IR, 但 对 任何 s>0,* 十 8 阶 矩 不 存在 . | 

12， 设 单 参 数 指数 族 (edu) 的 自然 参数 空间 日 的 上 确 界 为 a, 则 
有 : GE ace, Zi E o2) 2-0 tf, 7f lim e(9) =0; 2$ (0, eo) 0,1 (0) 


0 时 ,有 lime(0) = 一 [0 其 他 情况 有 lim (0) =o, DX aces, M ae 
O Wf, ll lim (0) =A FÆR, H Acela); 当 a€ 8 M, Tim c(0) -0, 


3 @ 的 下 确 界 为 5, 写 出 与 上 面相 应 的 结果 ， 

13. 二 维 指 数 族 c(01, 0:)e^**9" du(z，2) 的 边缘 分 布 是 否 一 定 为 一 维 
指数 族 ? 

14. 设 c(9)esedu(z) 为 一 维 指数 族 ， 则 它 为 正 态 分 布 族 e 其 方差 与 9 
ER: 

15. 设 c(g)e'* du(x) 为 一 维 指数 族 ， 则 它 为 Poisson 分 布 族 其 均值 
与 方差 相等 。 

16. iE 7o) 为 定义 于 Bl 上 的 实 函 数 , HIERDER 会 对 任意 的 Z< 
yx 有 l 





FW fo) IO- IO- 
y—r 一 化 8 一 1 

17. 设 了 为 2-> 了 的 变换 ,4、.BC2, 则 有 CA4cB=>7T(4) CT(B); (i) 
T(AUB)- T(A) UTB); Gi) T(ANB)CT(ANTB), {B T(An B) 
TC4) nT(B) 未 必 成 立 ， SOR C. Des, WA Gv) TC UD) - T0) U 
T-3(D);QoOT3(0CnD)-T3i(0)nT3(D) 

18. EO, 2225— TW, T 为 2-> 了 的 变换 。 试 证 明 

O 38 de 为 了 7 上 的 一 o- 域 , 则 T(z) 亦 为 0- 域 

Gi) 车 wt 为 了 的 菜 些 子 集 构成 的 类 , WA T1 (0 G6) me (17160). 





其 中 记号 oC《w) 表 示 由 x 产生 的 最 小 o- 域 ,等 等 . 

Qi {4:4cC7, 7T-1(4) € 2,1 为 -0- 域 . 

19. 设 样本 空间 为 (BR"，9")， 统 计量 的 值 域 空间 为 (Br"，gm")， 记 鹃 为 
R 中 一 切 可 列 集 及 其 余 集 的 全 体 构 成 的 o- 域 ， 试 证 明 不 存在 统计 量 7. 
(H^, 47) (R^, a), db am— Tam), 

20. ib T.S 为 定义 于 样本 空间 (多 2) EB PRA ZEE, 值 域 空间 分 别 
HCT, Br), (I, B), BA STE) CIr-IC9z)， 还 存在 变换 p. 35^, 使 对 
P rE, H S-sp1()]. iX) * ORDE C9, I—II, 2) 
. 可 测 变换 . 

21. db T. (T, Zn P) (5, d», PR — HER. AX. AOE 
个 互相 独立 的 它们 本 身 及 其 积 均值 存在 有 限 的 随机 变量 ， 试 举例 说 明 : 未 必 
有 mE 

ECX) fX) |t] ELX) ELA], a.s. PT, 
22. 试 证 下 面 等 式 的 一 边 有 意义 ， 则 另 一 边 也 有 意义 ， 而 且 a.s.P" 相 


Se 
ESADE GX) 10 ] =E NEG [5]. 


23. ik fO AS eU REAS T CO uz ENE a, MS 
E[f(X) |t] - ECf(XDD, a.s.F*, 
.GE TIO 4, P)OS (7, Zr, P?) 是 一 统计 量 ， 作 一 新 的 统计 量 
"E (x, T(z)), RBdiBJGXx4,,x425. Xi fCO 为 均值 存 
在 有 限 的 随机 变量 . 试 证 明 ELK | 三 ] 24 OO, a.s.P. 
25. iE Ti, Ts 是 两 个 统计 量 ，f (ZX) 均值 上 限 ， 试 举例 说 明 下 式 未 必 成 


E[EC(F CX) | T) |t] =EL QO |tu t2], a.s. P^, 
26. ik T (X)55 f QOO fuz, f OX) EHEUB ER, DUE 
ELf(OC) +T) |t] -t-- ELfCX)],. 40.5.P™. 
27. 设 Xy, eu Xa J id, PLEBE. Xa 具有 密度 jzDazl， 今 工 一 
miniX;, "e, X4), AUER 
$,n-lí(* 2E a 
ELXit]-— ^ f af(s)dm [f Gods, a.s. P", 


28. 若 T.S 为 定义 于 (2 4, Po 09EB@) 上 的 两 个 统计 量 ， 其 值 域 空 间 
(T, Bo) (S, 53。) 均 是 欧 氏 的 , WE 充分, HTI Er) CT (49, 88.48 
E 





. d {Po OEO) 为 样本 空间 A 22 上 的 一 个 分 布 族 ， 设 工 :(2， 
er 92) 为 一 统计 量 , 则 T (x) 一 Bs 2%(z)) 为 一 充分 统计 量 \ 设 其 值 域 空 
RI (x 9, 2,x 2,). 
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30. 设 {Pe 0c OM 为 (2 2) 上 的 分 布 族 , 0 $H E—o—&8 YR BUS. 
Xj 4j — 0€0, 4 fí(z) = 二 QPo(x%)/dw， 对 每 一 固定 的 XE 1f) 8x 
O 上 的 函数 , 记 其 为 41=2(z)， 把 这 样 的 元 素 全 体 记 为 9， 于 是 了 :2 用 是 
一 变换 ， 令 4L—iA:AC., T 1(4)c2,. WUER: T HEREC, 92) 的 
充分 统计 量 . "TN 

31. db Xy 2 Xn 为 dd. 随机 变量 ，X1~N(0, 0), 9> 0， 直 接 从 定义 


证 明 : T») - 3t 为 充分 统计 量 . 

32. i£ X4,--, X, 为 did. EPA E, Xi N (a, 07), — oo aoo, a0, 
REH OX, 8? 仍 为 充分 统计 量 , RE X= $X, SS-OYX,-X) Qi 
意 , 此 时 可 能 ==0, 帮 因子 判别 定理 不 能 直接 应 用 》, 


E X x R 


[1] M.Loeve. Probability Theory, Van Nostrand, 1960. 
[2] BE. L. Lehmann. Testing Statistical Hypothesis, John Wiley, 1959. 
[3] H. Cramer: Mathematical Methods of Statistics, 1946. 
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第 二 章 无 偏 估 计 


— 设 随 机 变量 X 的 样本 空间 为 (2 Z). X MAGSUAT E, 
上 的 某 个 分 布 族 (Ps。,bEGB), 即 存在 goc@, 使 并 的 分 布 为 一. 参 
数 估 计 的 课题 是 要 通过 X 的 观察 值 即 样本 值 zs， 去 估计 0。 或 某 
个 函数 94O) 在 SRE geo. ETE g (0) 29 Hr dE HE. 这 里 
的 go 称 为 “参数 真 值 ”， 一 般 为 了 方便 计 , XA OORE. Ak, 
0 这 个 符号 既 用 来 泛 指 任 一 可 能 的 参数 值 ( 即 取 值 于 @ 中 的 流动 
元 ), 又 用 来 指 在 一 个 特定 问题 中 参数 的 实在 值 . 0 的 这 种 双重 身 
份 , 在 具体 的 场合 根据 上 下 文 的 意义 一 般 不 会 引起 混淆 , 不 过 , 随 
时 注意 这 一 点 ， 将 有 助 于 我 们 更 确切 地 理解 参数 估计 问题 的 意 

RR A. Wald 的 统计 判决 理论 , 参数 估计 问题 只 不 过 是 具有 
某 些 特点 的 统计 判决 问题 ， 对 这 些 特点 ,难以 给 出 精确 的 描述 , 大 
致 上 可 以 归纳 为 以 下 儿 点 ， 

1. 参数 空间 @ 或 9(9) 的 值 域 空间 是 欧 氏 空间 中 的 一 个 区 
间 , 或 至 少 是 形状 比较 “规则 ”的 集合 . | | 

2. 行动 空间 4 5j g (0) 的 值 域 重 合 , 或 包含 这 个 值 域 . 

3. REALO, a) t gO) R “的 “距离 ”> 有 密切 关系 :距离 
AKUN, 损失 愈 大 (小 )， 但 一 般 说 来 , LO, AR- EKARA 
于 某 种 距离 。 另外 , 到 (9，o) 往 往 要 有 一 定 良 好 的 分 析 性 质 , 如 连 
续 性 、 可 微 性 . 凸 性 等 . | 

参数 的 点 估计 理论 是 受 统计 判决 思想 影响 最 大 的 一 个 统计 分 
支 ， 但 是 从 历史 上 看 ; 本 章 所 要 讨论 的 主题 -一 无 偏 估计 的 概念 ， 
曾经 在 参数 估计 的 发 展 上 起 过 重要 的 作用 ， 这 恐怕 主要 是 由 于 以 
BIA ERES: 一 是 这 个 概念 有 相当 的 直观 背景 ; 一 是 它 在 数学 上 比 
较 好 讨论 ， 但 不 能 不 承认 , 由 于 判决 理论 的 影响 , 使 人 们 对 无 偏 性 
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概念 的 估价 有 所 改变 .这 主要 是 无 偏 性 对 于 缩小 风险 未 必 总 是 有 
益 的 、 本 章 的 出 发 点 是 把 无 偏 估计 作为 一 个 数学 对 象 来 讨论 . E 
在 某 一 特定 问题 中 是 否 合用 ,应 当 根 据 问题 的 具体 性 质 来 分 析 . 

本 章 在 第 一 节 介绍 无 偏 估计 名 基本 概念 ， 第 二 节 引 进 一 个 重 
要 概念 -一 -分 布 族 与 统计 量 的 完全 性 . 并 以 此 为 工具 , 导出 本 章 
的 主要 结果 一 一 -广义 的 Blackwell-Rao-Lehmann-Scheffe Œ M, 
它 是 寻找 一 至 最 优 无 偏 信 计 的 主要 方法 ， 以 下 三 节 是 关于 这 个 基 
本 定理 在 一 些 具体 类 型 的 分 布 族 中 的 应 用 ， 最 后 一 节 是 关于 线性 
模型 参数 的 最 优 线性 无 偏 估 计 ， 在 那里 我 们 介绍 重要 的 Gauss- 
Markov 理论 ， 


SL 基本 概念 


一 、 无 偏 估计 的 定义 


dX 的 样本 空间 为 (2 ,多 。), 分 布 族 为 (Po, 9E 9@) , 行动 空 
HAA, 24). g( EXT. O E, RETR" X d X BRUEE 
值 z 去 估计 9(9)， 在 参数 估计 问题 中 , 随 宙 化 的 判决 函数 称 为 随 
机 化 舍 计 , 非 随 机 化 判决 函数 称 为 非 随 机 化 估计 . 

我 们 曾 在 第 一 章 1.( 三 ) .5 中 提 到 过 无 偏 估计 的 概念 . 现 将 无 
偏 估 计 的 定义 正式 表述 如 下 : 

定义 1.1 设 9(o) 为 9 人 的 一 个 佑 计量 . 车 对 任何 9€8， 
4 ( 互 ) 的 均值 总 等 于 被 估计 的 9(0)， 则 称 9 H gO) 的 一 个 无 偏 人 
计 ， 用 式 子 表示 , W: 


BLO(X)1—| dP) =g), 669, (1D) 


这 是 对 非 随机 化 估计 而 言 的 ， 对 于 随机 化 估计 9012), 其 无 偏 性 
类 似 地 定义 如 下 : 


| [| 28 (daja) ap co =g), 0c 0, 


由 无 偏 估 计 的 定义 可 知 ， 痢 一 估计 有 无 偏 性 ， 则 将 这 仿 计 量 
: 82 * 








多 次 使 用 时 ， 各 次 所 得 的 估计 值 的 平均 与 被 估计 的 g (0) fij XI, 
更 确切 地 说 ， 若 有 % 个 人 对 A 进行 独立 的 观察 (也 可 以 设想 成 同 
一 个 人 在 nw 天 内 每 天 对 X 独立 观察 一 次 ， 参 数 真 值 始终 保持 为 
8), 第 个 人 得 样本 X, 他 可 用 9( 卫 0) 去 估计 g(90)， 因 此 ,一 
得 到 g(0) 的 % 个 估计 值 g(X0 Gsl, …, n). 根据 强大 数 定 
律 , 当 n->co 时 ,这 名 个 估计 值 的 平均 二 裕 了 (XD) 以 概率 为 1 地 
KAF gO), 

因此 ， 无 偏 性 的 作用 在 于 可 以 把 重复 估计 中 的 各 次 误差 通过 
平均 来 消除 .这 当然 不 意味 着 在 该 估计 量 一 次 使 用 时 必 能 获得 良 
好 的 结果 .因此 ,在 具体 问题 中 无 偏 性 是 否 合 理 ,应 当 结合 具体 情 
况 来 考虑 . 在 有 些 问题 中 , 无 偏 性 的 要 求 会 导出 很 不 合理 的 结果 
来 . | 

例 1.1 RER X 服从 Poisson 分 布 多 (9), 即 


PX- -ee (k=0, 1, 2, .0<0<00). 
要 个 计 gO) =e”, 车 A 9(0) 的 无 偏 估计 , 则 由 定义 应 有 À 
> b) 4 9^ rece 0 一 0 一 cc. 





即 àéoI- xs pe jr 0<, 


由 略 级 数 相 等 的 条 件 , 即 得 

| g(b-(—2* (k=0, 1, 2, =). 
这 就 是 说 ，9(9) 的 无 偏 估 计 只 有 一 个 ， 当 观察 值 为 偶数 时 ， 利 
用 工 估计 e-s4 当 观 察 值 为 奇数 时 , 利用 一 1 来 估计 e-”， 这 从 哪 
个 角度 看 都 不 是 一 个 合理 的 估计 ， 特 别 是 , 9(9) >0, 但 估计 值 有 
很 大 可 能 为 负 值 . 
” ”还 有 这 样 的 情况 ; 无 偏 估计 根本 不 存在 . 

例 1.2 设 变量 X 服从 二 项 分 布 Bn, 9) (0<0<1)， 要 估 
HgO) ~ 了 gr. 车 9 为 无 偏 估 计 , 则 有 
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但 上 式 左 端 为 9 的 多 项 式 , 而 右边 却 不 然 , 因此 二 者 在 区 间 [0, 1 
处 处 相等 是 不 可 能 的 ， 这 就 是 说 , 9(g) 的 无 偏 估计 不 存在 . 


二 、 一 臻 最 优 的 无 偏 估计 


假若 待 估 函数 g (0) 具有 无 偏 估计 ,我 们 就 称 其 为 可 估 的 、 常 
常 有 这 样 的 情况 : 9(6) 的 无 偏 估计 有 不 止 一 个 .如 Xu y XN 
取 自 均值 为 9 的 母体 的 说 4， 样 本 ,那么 儿 (%) 一 my, 六 (四 一 
(atie + Sa), 6,0) 一 5 都 是 9 的 无 偏 估计 ,而 且 从 直觉 
上 我 们 感到 第 三 个 估计 比 前 两 个 要 好 .为 了 在 无 偏 估计 中 比较 优 
劣 , 需要 有 个 标准 .为 此 需要 引进 损失 函数 LO, a), 根据 第 一 章 
1.( 二 )2, 每 个 估计 量 都 有 一 定 的 风险 , 如 在 第 一 章 1.( 三 ).5 中 所 
述 ， 我 们 引进 如 下 定义 ， | | 

定义 1.2 设 乡 是 9(9) 的 一 类 无 偏 估计 ,而 9 Eu 车 对 
` E GEP. ROCO, H RO, 9) «R(0, 9), Wis g' HR Puth 
(在 损失 工 (6,w 下 ) 的 一 致 最 优 无 偏 估 计 . Ho] RO, 9"). 
RO, 9) 分 别 为 9*.9 的 在 损失 函数 工 (9，o) 下 的 风险 . 

最 常见 的 情况 是 ， 多 为 9(g) 的 一 切 非 随机 化 的 无 偏 估计 类 
y 或 一 切 随机 化 的 无 偏 估计 类 ( 它 包含 了 一 切 非 随机 化 的 无 偏 估 
计 ) 2» 或 一 切线 性 无 偏 估计 类 ( 见 $ 6), 等 等 ， 在 这 三 个 场合 , 上 
” 述 定 义 中 的 儿 分 别称 为 一 致 最 优 的 非 随 机 化 无 偏 信 计 、 一 致 最 优 
的 随机 化 无 偏 估计 、 一 致 最 优 的 线性 无 偏 估计 。 

我 们 应 注意 ， 无 偏 估计 的 定义 不 要 求 引 进 任何 损失 函数 ， 因 
此 也 就 很 自然 ， 无 偏 性 的 要 求 有 时 可 能 与 “风险 尽 可 能 小 "这 个 要 
求 有 冲突 . 如 在 第 一 章 例 1.6 中 我 们 曾 看 到 ， 那 里 的 无 偏 估计 
3(z) (下 节 要 证 明 它 是 最 优 无 偏 估计 ) 其 风险 处 处 大 于 非 无 偏 估计 
61(%) .这 正 是 从 判决 函数 理论 的 观点 看 , 无 偏 性 的 要 求 未 必 总 
是 合理 的 道理 所 在 。 然 而 ， 是 否 完全 应 该 从 判决 理论 的 观点 去 估 
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价 . -个 统计 方法 的 好 坏 , 在 统计 界 也 存在 不 同 的 看 法 ， 一 般 说 来 ， 
英国 学 派对 这 种 观点 至 少 是 不 热心 的 . 

无 论 从 理论 或 应 用 的 观点 来 看 , 凸 损 失 都 占有 重要 地 位 ， 现 
在 我 们 给 出 一 个 正式 的 定义 ， 

定义 1.3 ” 设 行动 空间 为 (RB"， 27), 若 对 任何 6EG, JUR 
数 (0, a) 作 为 a 的 函数 是 R* 上 的 ( 严 ) 凸 函数, 则 称 工 为 ( 严 ) 西 
JR X dx. 

最 重要 的 严 凸 损失 函数 是 二 次 损失 函数 

L(8, a) -o(8) (g(8) —a) B(g(0) —a). | 

这 里 g(9)、a 都 视 为 m 维 列 向 量 , B 为 m 阶 正定 阵 ,而 e (8) 0, 

定理 1.1 在 凸 损失 下 , 2r 构成 Ga 的 本 质 完全 将 

证 设 9(|Z 是 9(0) 的 任 一 随机 化 的 无 偏 估计 .定义 

Gæ) =| aĝ dala), 
因为 G(X) 一 | [| dida ]aPs(w) =g 0), i d X g0) t3 
随机 化 的 无 偏 估计 . 再 由 Jenson 不 等 式 (第 一 章 中 的 定理 3.7)， 
L(0, ĝa) <| 16, o8(dalo)， 
从 市 mE 
RO, $) - | LO, $a) 
«| [| 100, aĝ daja) JaPr Go - RC, $C 12). 

定理 得 证 . | 

由 本 定 理 可 知 。 在 西 损失 下 只 需 考虑 非 随机 化 的 无 偏 估计 就 
WT. Jg n SERE, dedi SL JC ARATRI, 总 是 指 非 随机 化 的 
无 偏 估计 . 

_ 当 损失 函数 为 严 西 时 ,我 们 又 有 如 下 事实 ， 

定理 1.2 ”在 严 凸 损失 下 , 风险 有 限 的 -一致 最 优 无 偏 估 计 若 存 

在 , 则 必 唯 一 ( 即 对 任 一 ge @, 在 a. s. Ps 意义 下 唯一 )， 
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证 用 反 证 法 : 者 94 存在 两 个 风险 有 限 的 一 致 最 优 无 偏 估 
YF 91.05, 使 存在 poE@， 
Poj (X) + 90) 70. » 059) 


id. (6) — AORTA (01, AR j. 也 是 9(9) 的 无 入 估计 .由 
BU UK D Pt Pub L2) 6, 
PoAL (Oo, X) Ds OO) 


+L, $4X))) 70. 
由 上 式 及 RCo, f) =R Oo, $2) «oo, 


R Oo, $) ~ | 工 (bo á()4P Co) 
< 可 | 人 ze d o)YaPu o) + [ Llo, $a))aPs.Co)) 


-=Z (Rh, 41) + R(0o, d2)) = R( 0o, 91), 


此 与 91 的 最 优 性 相 了 矛盾， 定理 得 证 . 
当 m=1i， 即 待 估 函 数 g(9) 为 一 维 实 函 数 时 ， 二 次 损失 变 为 
LO, à) w=o(0)(g(0) 一 o)2?， 此 时 ，9(9) 的 无 偏 估计 乡 的 风险 为 
及 (0，9) -o(0) Elg X) ^ g(0]* -e(8) Varsg( X), 
显然 , 因为 (9) 70, 若 Ga, ga 均 无 偏 时 ， 
. R(0, 9j.) «R(0, $3) &Varegi(X ) « Varga X), 
因此 在 二 次 损失 下 的 一 致 最 优 无 偏 估计 又 称 为 方差 一 
致 最 小 的 无 偏 估计 (Uniformly Minimum Variance Unbiased 
Estimate), 简 记 为 UMVUE、， 关 于 UMVUE, 下 面 给 出 一 个 常用 
的 判别 条 件 : 
”定理 1.8 g(9) 的 风险 有 限 的 无 偏 估 计 g(s) UMVUR 的 
充 要 条 件 是 ; 对 9 的 任 一 无 偏 估 计 $CXD, £484 [E— 0 CO, 假若 


Varp «co, 则 有 . ^ ^ 
cove(g,, $) 一 0. (1.8) 


证 ”假定 条 件 (1.3) 成 立 . 设 9 是 g(9) 的 任 一 无 偏 估计 . 若 
Var,j-9o, 则 有 Varog,<Varog， 若 Varog<oco, id $-—49-— $., 
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则 名 为 0 的 无 偏 估计 , 且 
Ej? «2E,(j — g(8))?--2E,(g(0) — ,)? «co. 
于 是 由 (1.3) 式 , 即 得 
Es(d -g(0))! =E ($-- 8, — g(0)?? 

= Es? 4-2 cove($,, Ja) + E (9, — 9(0))? 
>El Ja (0). 

Bk ge X gR UMVU 了 ,从 而 充分 性 得 证 ,为 证 必要 性 , 设 9, 为 

g(0)8j UMVUE, ARAR. 又 设 9 为 任 一 0 的 无 偏 估计 对 任 

— 0€0, 假若 Varp <o, WZH a, #a=0, W $(X)—0, a.s. 

Ps, (1.8) 式 自然 成 立 . 故 不 妨 设 0<a<, 再 记 5=cove(9,, $). 


假定 (1.3) 不 成 立 , BE 8960, 4 5-085, X Ae (— 25,0), 当 5< 
0 时 , 取 和 E(0, — ). 35i $,— 6,24. BR, Loo o (DRUG 


偏 估计 ， 但 是 
Var, 四 一 Vare0 .十 2 十 Mac 一 Vary ,. 
这 与 9, 的 最 优 性 又 相 矛 盾 ， 定 理 得 证 . 
”由 此 定理 又 可 得 到 下 面 简单 而 有 用 的 事实 : 
系 1.1 若 9 为 %(0) 的 风险 有 限 的 UMVUE, o, d A w g 


(m1, =, m), M È ai+d X $ og(0) +d ij UMVUE, 
X. ”证 显然 , 写 obi+d 为 写 mgi(9)+a 的 方差 有 限 的 无 偏 人 


H. 设 了 是 0 的 任 一 无 偏 估计 ,对 任 一 9E6, 若 Var dco, 由 定 
| 理 1.8 的 必要 性 ,有 


cova( $ Cii +d, $)-3 Ci cove( gi, $) +0=0, 
再 由 定理 1.9 的 充分 性 , 此 系 便 得 证 . 
三 、 无 偏 估计 的 协 方 差 阵 


设 gO) 一 (gi(0),，…，gm(9)) 为 可 估 的 m 维 向 量 函 数 ， 
GCE) -(gi(2), s, Inla) 为 gC(0) 的 无 偏 估 计 。， 车 对 任 一 86 有 
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Varj,«oo (6—1, pm)、 则 9 存在 协 方差 阵 
VARoe9= (ecove(9 Gi))icsjcm, OEO, 
且 为 非 负 定 . 对 任意 两 个 m 阶 非 负 定 阵 4 S B, 若 A-B 为 非 负 
xg, 则 记 为 4 之 B; dS A-B 为 正定 , 则 记 为 4> B, | 
假定 g(0) 具 有 使 协 方差 阵 存在 的 无 偏 信 计 . 我 们 有 如 下 结 
TR. 
定理 1.4 d 2-(0,7,9) 900-9, 7, In) 的 无 
偏 估计. 在 二 次 损失 了 (2, a)= (g0) -— =a) (g(8) —a)'f, FK 
9(9) 的 一 臻 最 优 无 偏 估计 的 充 要 条 件 是 : 9 “的 协 方差 阵 存在 ， 且 
对 9(9) 的 任意 协 方差 阵 存在 的 无 偏 估计 9= (91,…, Gm) 有 
VAR,g'-VAR,g (对 任意 0€8). (1.4) 
证 因为 Be(g(0) —")'(g(0) = g") —ir(covog") E,(g(0) = 
9)'(g(0)—9) =tr (cova 9)， 此 处 Ir LO SURJTRE 4 的 迹 , 又 因为 


Az B—hirAirB, Kl. SLE "为 g(0) 的 一 致 最 优 无 


偏 估计 . 
反之 ,车 在 二 次 损失 下 , 9* 为 ; g(6) 的 一 至 最 优 无 信 信 计 ; 9 为 


g(0) 的 任 一 协 方差 阵 存 在 的 无 偏 估计 . BR $ Varfi < 
2 Varo fco, 故乡 的 协 方差 阵 存在 ， 又 可 证 明 2 gi * IO 


UMVUE (i=1, -«, m). POETA, WFE i, 7 E i=l, 使 
O AREA d T 93(0), 3E 30, 8 Var, ji — Var, jt. 令 
P (gi, Ga e, 名 )', 则 也 为 9(9) 的 无 偏 估计 , 但 却 有 | 


> Varoe(g’) + Var, 99< S Varr. | 
jt 5 j^ RRETA. 既然 从 为 gC0) 的 UMVUER(i=1 
e, m), BERE UL ART, 353 e (0) lj UMVUE, gj ub C- 
(ex, …, on) 为 任 一 m Hf e, FE 
C'(VAR,(Cg))O— Vard( 3 egi ) «Var (3: od) | 
-C'(VAR,(g))0, - 
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B VAR('«VAR, ), SEXE, 、 
以 上 ， 我 们 是 在 假定 (在 凸 损 失 或 严 凸 损失 下 ) 一 臻 最 优 无 信 
估计 存在 的 前 提 下 , 讨论 了 它 的 若干 性 质 ， 下 面 几 节 我 们 要 讨论 

一 致 最 优 无 偏 估计 的 存在 性 及 其 求解 方法 . 


$2 完全 统计 量 
一 、 基 本 概 念 


为 研究 一 臻 最 优 无 偏 估计 的 问题 ， 我 们 引入 分 布 族 与 统计 量 
完全 性 的 概念 ， 设 多-= (P, 66) FER ZC, Be) E R9 23 
HR. SORTERA, 9o 和 2) 为 其 无 偏 估 计 , 0 是 维 数 与 9C9) 相 
同 的 零 向 量 ， 以 C. 表示 0 的 无 偏 估计 的 全 体 ， 于 是 9(0) 的 无 仿 
估计 全 体 可 表示 为 | 

| D= (do-$:ó€ 29. 
因此 ， 对 g(0) 的 无 偏 估计 的 研究 可 转变 为 对 0 的 无 偏 估计 的 研 
究 ， 特 别 是 , 当 0 的 无 偏 估计 唯一 时 ， 包 是 9(9) 的 唯一 的 无 偏 估 
计 . 此 时 一 致 最 优 无 偏 估计 的 求解 问题 就 变 得 很 简单 了 。 这 样 ， 
我 们 给 出 分 布 族 和 统计 量 的 完全 性 的 概念 . 
定义 2.1 O 车 对 本 一 多 可 积 函 数 风 z)， 由 “对 任 一 0E 昌 
Papi eg eet a. s. 

， 则 称 铬 是 完全 分 布 族 . 2 

(i) WT. (2, 2,, P5, 8c6)(4, Br, P, gc) 是 一 
统计 量 , 若 分 布 族 P= (PT, 060) 完全 , 则 称 了 了 为 完全 统计 量 
”从 定义 即 知 ; 车 了 完全 ， 则 对 任 一 9E@ 依赖 于 了 T 的 0 的 天 
偏 估计 a. s. P? 为 0。 从 而 可 估 函 数 g(0) 的 基于 了 的 无 偏 估 计 
必 唯 一 。 由 此 可 见 : 完全 统计 量 特别 是 完全 充分 统计 量 在 无 偏 佑 
计 理 论 中 占有 特殊 重要 的 地 位 。 
© 例 2.1 ZWAAG Bla, 0) (0<0<1) 是 完全 的 ， 

证 对 任 一 实 函数 %w), 若 对 所 有 的 0E (0, DA 
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Sec ^)ea-6-0. 
4 1—6/(.—6), 于 是 对 任 一 +E (0, co) 有 


& [voee 


故 对 2 一 0,…, 岂 有 (2)( ，) 一 0, AT $0) 一 0， 由 定义 知 : 二 
项 分 布 族 是 完全 的 ， 

例 2.2 正 态 分 布 族 N(a, o°) (一 co<e<coi 0<c) 是 完全 
fi. 
证 设 $(2) 对 所有 的 a.o 有 


| _$(w)exp | - 

从 而 全 KOC JEE 十 -后 a de= 0, 
固定 oc=1, 对 任意 4, 有 | 

| e “| (2) exp( —5 1 ^) dz --o, 


可 见 0 是 TOL 的 双边 Laplace 变换 , 故 有 
a. e. L. 
即 对 所 有 的 e. ofi o(X)=0, a. s. NG, ac )。 从 而 正 态 分 布 族 
是 完全 的 . 
利用 类 似 的 方法 ,不 难 证 明 常 见 的 分 布 族 ,如 Poisson à 分 布 族 
PCA) (0-X—co); 均匀 分 布 族 RCO, 0) (0-899); 工分 布 族 
G(a, p) (0a«oo; 0<p<00); B 分 布 族 B(p, q) (0p«co, 


0 过 g 过 oo); 负 指数 分 布 族 dp(w a, BP-5e de (22a, 


870, —eocacoo), 等 等 都 是 完全 的 . 但 不 完全 的 分 布 族 也 是 
常见 的 . 
例 2.3 i£ X = (Xa -, IY 的 分 布 为 N (aln, In) 


。 70。 





Hao, 








(一 ceo<a< ce，0<a)， 这 个 分 布 族 是 不 完全 的 .事实 土 ， 记 
Ó(r)-—z,—2. Augur. 对 任意 的 a、o, A Euao5(X)-0, fH 
4$(X)-0, a. s. N (adl, 037,)” 并 不 成 立 ， 此 处 及 以 下 , n ER 
Hin 个 工 组 成 的 列 向 量 . | | 
不 过 ， 在 此 例 中 , #9 Ton 72, HX- YX AO 
N (a, 0°) (一 co<o<co, 07-0), mpl 2.250, X Je bit 
E o 
o W24 RX, y 于, 为 iid， 随 机 变量 ， Xi R(O, 0) 
(0—6-oo), RA T (z) 一 max /zi, …，m) 是 完全 充分 统计 量 . 在 
第 一 章 例 6.5 中 已 证 明了 也 的 充分 性 ， 为 证 其 完全 性 ， 注 意 
TXS ， 
dP? (t) - "idt (0-19), 


EPO 对 任意 的 9>0 有 | OF) rdt = 0， 即 对 任意 的 


0>0 有 ， 
; | écoe7ar-o, 
于 是 根据 实 变 函数 论 的 有 关 论述 ,得 
|. $(tU"1—0 a.e. L T (0, co), 

因此 对 任意 06E(0, oo): $() —0, a. s. PY， 这 就 证 明了 也 的 
完全 性 . / 

关于 分 布 族 和 统计 量 的 完全 性 有 下 面 简单 的 事实 : | 

定理 2.1 (i) 设 2 是 分 布 族 甸 的 子 族 ， 若 多 完全, H 
PP, Wd GUT. (X, Ba P, 6c6)(7, 
Br, Pj, 0E6) 是 一 统计 量 , 若 (P,， OCORRE, WW T 也 完全 ， 

证 “车 对 任 一 PE 儿 有 | é(dPG)-0, 因为 PCAP, 
所 以 对 任 一 Pc" H| %(z)aP 一 0， 由 多 的 完全 人 性， 对 任 一 
PEP H P($(X)*0)-0, XB A 5 P546. 于 是 对 任 一 
PC dá P($(X)*0)—0, TJ&C) fHE, 
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(i) 车 | SOIO -0 对 每 一 9E6 成 立 ， 从 而 对 所 有 的 
JEO, H | e G)aP Go) 0, 因为 {Po, 9Eg@ 完 全 , 则 对 任意 


6€6, 3 0— P, (b (T (3) 40) —Pz(6(D 0), 于 是 (ii) 得 证 . 

由 例 2.3 ^n. 此 定理 的 (ii) 的 道 不 成 立 . 

由 定理 的 (立即 得 出 如 下 结果 ; 车 多 、 多 为 同一 样本 空间 上 
的 两 个 等 价 分 布 族 , HOC, 车 统计 量 卫 在 分 布 族 D" FER 
全 的 , 那么 它 在 分 布 族 乡下 也 是 完全 的 .由 定理 的 (ii), 又 可 推出 
下 面 的 结果 : AT, OS 为 在 同一 样本 空间 上 定义 的 两 个 统计 量 ， 
HERST, Z), (8, Be) 都 是 欧 氏 的 HET (AD C 
T-(2,), E. S EZZ, WT 也 是 完全 的 .这 由 第 一 章 定理 41 
及 本 定理 立即 可 得 可见 ,完全 统计 量 经 过 进一步 “加 工 ?简化 后 ， 
仍然 是 完全 的 ， 完 全 性 的 这 一 特性 与 充分 性 正好 相反 (参看 第 一 
章 习 题 28)， 
三 面 我 们 引入 所 谓 “严格 完全 性 ”的 概念 ,利用 这 一 概念 ,可 以 
得 出 一 个 关于 乘积 分 布 族 完全 性 的 判别 定理 . 

定义 2.2 设 儿 =-(Po; VENI, 多) 上 的 一 个 分 布 族 ， 
为 参数 空间 (68, 58o) 上 的 一 个 c- 有 限 测度 .对 每 一 BE 红 ， 
Po(B) 关 于 Zo WW. 假若 对 任 一 $(z)， 由 条 件 “ 对 任 一 给 定 
的 p 零 集 太 ,对 每 一 9EN, 有 $Cz)aPs=0” 可 推出 “对 所 有 的 
9E6, 8 $(3)-0, a s. PL "Wis PPAR | 

不 言 而 喻 ， 严 格 完全 是 一 种 更 强 的 完全 人 性， 容易 验证 ， 例 
2.1, 2.2 及 其 后 面 所 列 出 的 诸 分 布 族 都 是 严格 完全 的 (到 荆 测度 
作为 定义 2.2 中 的 p)。 

定理 2.2 B P-P, bgEB) 是 (2 多) 上 的 完全 分 布 族 ， 
S-(P, 6c6)X (V, BALATO, Bo, 册 ) 是 严格 完全 分 布 
族 ， 则 乘积 分 布 族 P 

SxS (PB, 6€6, jc | 

为 完全 的 。 
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证 VERO, 2) Eg (0, 的 EGx 人 有 


| „$C, 2dP (e)a PaT) 一 0， — (2.1) 
记 C— ((s, 2), (v, T) +0}, 以 下 要 证 : 对 每 一 (9, 0) CO x O,:g 
P,x Pj(0) - |. Pi(0.)4P, (2) —0, (2.2) 


其 中 C. 表示 集 C 在 ”处 的 截 口 . "n 
由 条 件 (2.1) 及 Fubini SER, AHg— (c6 44 
| LÍ eim. Sabi ap 一 0 (对 所 有 的 0EG)， 
由 乡 的 完全 性 ,对 每 一 90E6, 有 
| ee DAP) =0, a. s. P,, (2.8) 


记 B- (Gs, 0. | 66m, DaPs) 0), m 万 关于 da 的 可 测 性 
知 召 关于 Zax Ba 可 测 . 因 B 在 6 处 截 口 为 
= {x | $x, z:dPs(2) 0), 


由 (2.3) 知 ， 对 每 一 0E8， 有 Ps(B;) 一 0。 那么， 在 乘积 空间 
(4^x6, d, xs, Pex 上 ,有 


(Pox u) (B) = | P Gd. (9) ~0. 
再 由 Fubini 定理 知 ; 对 每 一 90€ @, 有 | 
f p(BVaP,(s) =0.- 


此 处 Be EREBETA. BA (27) 20, MO 8 — 
0c8, # nC) = 0, a.s. Po TEPE PZN, 对 每 一 
0€0,fi* zc NB], u (B7) =0. h B REX, M JEB nt, 有 
| $, d P5) =0, 
从 而 由 乡 的 严格 完全 性 ,对 每 一 6E6, 有 
$G,z)-0, a. s. P; 
这 就 是 说 ， 对 每 一 2ENo， ÓcÓ, WEDREN 使 当 
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TE Non Mt, ole, 2) -0, AN, 
当 wENoe 时 ,有 C-CNa。 最 后 有 


0< (Pox P3) (0) = N ,, (Od Po) 
«|. | PQV& sd Ps (o) =0, 


二 *、 次 序 统计 量 的 完全 性 

本 小 节 证 明 在 广泛 的 分 布 族 中 , 次 序 统计 量 为 完全 充分 统计 量 . 

设 2={ 本 是 任 一 给 定 的 一 维 分 布 族 , Xo s X, xd Feo mii 
得 的 简单 样本 ， 而 (Xda o XD IKIESEH E. eG ns m)33 [£— 
Fx xF EEP SB, 2B-—3 5.1. 

Evk(p(X4, s, Xn) [25 te., Tein) 


=- Bapo P ap 0o) eU) (2.4) 


Euh Go n DIA, e OBSEE HERI, RELIEF ROS AY TRIGO X 
xF.Fe€o)mios m. 

Frasor 于 1954 年 证 明了 : 在 相当 广泛 的 一 类 分 布 族 中 , 次 序 统计 量 也 是 
完全 的 。 下面 我 们 采用 陈 希 形 的 证 法 ,这样 可 以 得 到 更 一 般 性 的 结果 . . 

定理 2.3 设 乡 为 一 个 一 维 分 布 族 ,满足 条 件 ，(i)9 为 凸 集 ， 即 若 
FGED, lll pG4-gFc2, 此 处 0<p<1, g=1-p; GDE FEP, —oo«a« 
b<, H. FiLo, b)) 0, 则 Fro WED, 其 中 Fia dD EXI 

Fua A)=F{4N La, b))/F([o, b)}. 

则 次 序 统计 量 TOO = (Xa, 5s Xo)XTAHBIR {Fx xF, FEA 758 
全 的 . 

证 首先 指出 , 由 全 知 , 车 了 PE9， pe>0 Gul, s X) r=, MA 


ZW, 这 由 








DiF1+ poFa4- pF = (pi »»| Pto pP 5| -nhes 


pit pa pi pa 
可 以 看 出 . | 
it£— F€2, Erg (Xr --, X,))-—0, 即 有 
ff g( (Ty e., En) JAE (71): dE (14) 0, (2.5) 
B, | 
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在 下 面 证 明 中 ， 随 时 注意 有 9(T (za 690 mX))-—9(D (05 2()), IX 
Q n mI s 7) 的 任 一 排列 . 

&ie-4Wm(-eon€umEMI—dEETÉSOEX 

IQ en &) (Gn 7s ja) jio cn ja€ (is ns irh BGo cs ia) m 
一 元 在 (Cj …, 5 中 至 少 出 现 一 次 }。 以 下 证 明 
TO REED : | 

— Xu er | JCT (ct 7, Bn) JAF; (21) AF g, (25) =°0, 
Rn 


(2.6) 
这 里 Fi, TES F,C2, 


用 数学 归纳 法 : 当 %=1 时 , 不 失 一 般 性 , 可 令 i=l, 〈3.6) 式 成 为 
ff Ts, 8, 2$,))0F1(21) A (Tn) —0, F1€ 2, 


Rn 


这 就 是 (3.5) 式 . | | 
设 b<m 一 1 时 ,《2.6) 式 成 立 , ig F-l S reo, 由 (2.5) 式 知 
E NI JUT Gs, >, 2,))dP (2) (2) =0, 
Re 
把 上 式 左边 展开 ,得 | | 
d Den Cı (D T hause Ca (ji j2) prs 
Sha uen ONE T ET 2203 Ja 1 十 On(d， ae m); 0, 
由 归纳 假定 , 便 推 得 Ca(L …， m) 一 0， 同 样 对 任意 的 164 i ci «n, 
ER Onlin ee 各 ) 一 0， 从 而 (2.6) 式 对 kem 也 成 立 . 
特别 取 nm 时 ,对 任意 的 Fo e, FE 有 
ff IT eo 7n m4 Ga) Fs Cre) 0. (2.7) 


R* 


BUS n 个 区 间 Car b1), E Lan, bs), 对 任 一 分 布 Fes, 可 证 
es E | IT Gs, s $n))AP Gu) AF (En) =0, (2.8) 


Ea; b, x «xta, b,) 
Sx E, FARAI 使 F([ao b))—0, (2.8) 式 显然 成 立 ， 若 对 每 一 个 
i, Fia, b)}>0 4 一 二 ES n). S FF» 由 条 件 GD AIT: Fes (i= 
1, =o n), WR 代入 (2.7) 式 , 便 推出 (2.8) 式 . 


EPA =f] EAR) AF G9, Aen, I nos a" 上 的 有 号 
: | is 
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测度 ， 但 在 一 切 形 如 A= [a1, bi) nem X Lan, b,) 的 集合 上 ， B CA) =0, 故 由 Wi 
度 扩 张 定理 ,在 8" E 250, 即 对 一 切 Ac am, 有 


Í n | g(T (3)) dF (z)) -AF (a) =0, 
A 


Aiti,*p— Fez 推 得 
FX -xF(z, g(T(2)) 4-0) —0, 
这 就 证 明了 了 工 的 完全 性 .定理 证 毕 ， 
此 定理 可 应 用 于 下 面 几 种 情况 :多 为 1°. 一 切 一 维 分 布 族 ;2°. 一 切 关 于 
了 测度 绝对 连续 的 一 维 分 布 族 ; 3°. 一 切 离散 型 的 一 维 分 布 族 ; 4°. 一 切 
所 >0) 阶 矩阵 存在 有 限 的 一 维 分 布 族 . 在 这 些 分 布 族 中 ， 次 序 统计 量 都 是 
完全 充分 的 . 


$3 一 臻 最 优 无 偏 佑 计 的 存在 性 
一 、 广 义 Blackwell-Rao-Lehmann-Scheffe 定理 


由 充分 统计 量 的 充分 性 原则 (第 一 章 定理 6.3) 知 ， 若 全 是 充 
分 统计 量 ， 那 么 在 凸 损失 下 的 一 致 最 优 无 偏 估计 可 以 在 依赖 于 T 
的 无 偏 估计 类 中 寻找 . 如 若 下 还 是 完全 的 ， 则 由 上 节 所 述 ,基于 
T 的 无 偏 估计 是 唯一 的 , 从 而 我 们 可 以 看 出 这 样 一 个 重要 事实 , 依 
赖 于 一 个 完全 充分 统计 量 的 无 偏 估计 必 为 一 致 最 优 无 偏 估计 ， 这 
一 事实 是 我 们 综合 了 Blackwell 和 Rao 以 及 Lehmann 和 Scheff6 
的 工作 而 自然 得 到 的 结果 , 简称 为 广义 B-R-L-S 定理 . | 

定理 3.1 设 9(9) 为 一 可 估 函 数 , 则 有 :; G) dE THREACR, KA 
于 充分 统计 量 了 的 无 偏 估计 的 全 体 构成 本 质 完全 类 ; GNE L H 
失 下 , 若 了 是 完全 充分 统计 量 , 则 一 致 最 优 无 偏 估计 必 存 在 ; 在 严 
， 凸 损失 下 , 若 g(0) 至 少 存在 一 个 有 限 风 险 的 无 偏 估计 , 则 依赖 于 

完全 充分 统计 量 了 的 无 偏 估计 , 必 是 唯一 的 一 致 最 优 无 偏 估 计 . 

证 ”GD 由 第 一 章 引 理 6,1， 存 在 与 9 无 关 的 条 件 概率 分 布 

P(B|t), BC, t€.7. 车 9g(w) 为 g(0) 的 任 一 无 偏 估计 , 令 


iO -EGR -f $G)Pasl), e 
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因为 
ERLE AWANI AORA AOI HAO) 


a [Lic Pasto]aprc - | écaP co - «c, 
所 以 9.(Z(z)) 为 9(9) 的 无 偏 估计 ， 再 由 Jensen 不 等 式 , 得 
RO, 4) —- | LO, $a G)» 4G) 


- | 1, 200)aP8CG) 
«| [| ze g(z)) P (dz |t) PI (2) 


=| 10, $(0))aP,(o) =R, ô). 
于 是 全 得 证 . 

GD 由 对 的 充分 性 ， 利 用 (3. 式 可 求 得 9(g) 的 依赖 于 也 的 
无 偏 估计 gT) LAT 的 完全 性 知 ，9.(T(o)) 必 为 9(8) 的 
唯一 的 依赖 于 了 的 无 偏 估计 .但 由 于 ,单元 素 集 {9,《(T)} 构成 
本 质 完全 类 , 故 9 为 一 致 最 优 . 

若 再 假定 损失 是 严 凸 的 ， 且 g(9) 存 在 有 限 风 险 的 无 偏 估计 ， 
由 9g, 的 最 优 性 知 ,其 风险 有 限 ,再 根据 定理 1.2, 9, BA gO) 的 唯 
一 的 一 致 最 优 无 偏 估计 ， 定 理 证 毕 . 重 

广义 B-R-L-8 定理 是 无 偏 估计 理论 中 最 重要 的 基本 结果 . 它 
的 意义 在 于 为 我 们 提供 了 一 个 求解 一 致 最 优 无 偏 估计 的 有 效 方 
法 : 如 果 损失 是 严 凸 的 , 首先 找 一 个 完全 充分 统计 量 , 然后 设法 求 
解 依赖 于 了 HEA, 从 而 得 到 要 求 的 解 . 而 求解 依赖 于 也 的 
无 偏 估计 的 常用 的 方法 是 . 先 找 任 一 无 偏 估计 9(2), 再 计算 条 件 其 
i8 E[g|t] EHI. 

另 一 方面 ， 广 义 B-R-L-S 定理 还 告诉 我 们 这 样 一 个 事实 : 当 
完全 充分 统计 量 存在 时 ， 在 各 种 不 同 的 严 凸 损失 下 ， 一 致 最 优 无 
偏 估计 的 解 是 相同 的 . 因此， 我 们 只 需 考 虑 二 次 损失 就 可 以 了， 
特别 当 9(9) 是 实 函数 时 ,我们 将 着 重 求解 其 UMVUE, 
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下 面 举 几 个 例子 ,以 说 明 广义 B-R-L-S 定理 的 初步 应 用 . 

B|3.1 iX, o, X, Jg iid, 随机 变量 ， dan, 0< 
入 二 co. 现在 来 估计 JA- P, [Xi1= meak | 

因为 (1 o, X0i68C OA ORE 

P [Xi =m, iie X 4 vul seat" /Tay 
(m 0,1 e =t, ux. m). 

由 因子 判别 定理 (第 一 章 中 的 定理 6:D, T— So EA BOR 


又 因 了 ~? 图)，0< 和 <coe、 故 下 是 完全 的 . 当 关 = 或 其 它 
时 , 令 9(z) 一 T 0、 它 是 9g() 的 一 个 无 念 估 计 . 当下 一 t, X 
条 件 分 布 为 


P| X= X,-t] 


- P,[X,-4]P, [Èx -tzi / P[3 X,-t] 


-COG 6-3 en 


K E)-PU.-HdJ- «(| NYa- «s. 


7L 


根据 广义 B-R-L-S 定理 , 要求 的 UMVUE 为 
i 1 i vk à 
i-um 72) dis 
0, | MES... 
B.BEC) -LOEEQ- A X xxm UMVUE, 


例 3.2 d Xi, X, X iid, 随机 变量 , Xaa (wm; 1/0, b 
(0-0 oo), EE Hi BE p EAL SHORE R,(0) = PLX 52], 
T 是 已 知 常数 . 
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(Joi Tz 是 完全 充分 统计 量 。 DX, s XA 
联合 密度 为 
Il G (v 1/8, p) - OST p] (I v 

| (0a; $-—1, irr" n). 
故 由 因子 判别 定理 知 ，7 是 充分 的 。 XA T-X XG 51/6, 


0D)，0<0<ce, 故 了 又 是 完全 的 . 
Gi Fas (X) Æ R,(0) 3-75 fs fr i. Ji 在 求 PEXi1>7| t]. 


注意 ; XQ YQQ-2 Xs 是 独立 的 ， 而 了 ,1~G (ys 1/6, 


(n—1)9p), WB (X4, 了 ,1) 的 联合 密度 为 
xor ~ y; 0) =G (2 1/0, p)G (y; 1/0, (n—1)p) 


m: 
D 

et 
3 

i 
He 

号 
| 一 

M 

S 


ID” vewnacogi 
(wz>0, y>0). 
[E23 T— X,Yua, X= X4, 得 (1, 全) 的 联合 密度 为 
Faure, 50) = [09 I (p) '((n—1) p) v(t— a) "dr-10-t/ 
| (Ox z«t-oo), 


WE T =t RTF, X 的 条 件 密度 为 
pM (n—1)p-1 
foto hm esr cg rr) (73) 


(Ox c«t«oo), 
从 而 得 到 ROR UMVUE X 
0, i 
! T (np) 


P[X;|t]- | reris 1)p) 


«GG G2) a, m 


f $< 


j p LB (p, (n—1)p)] 2—2) ds, iz, 
Tit 
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特别 是 当 p==1 时 , UMVUE 3 £,-0; (1—t/2)" 3,35 t-v Xx t9 
时 . 

例 3.3 设 X, …， X X iid, 随机 变量 X BUS dS 
分 布 





Jiügisa Bh -fz exp] — 01 一 0 | T1274 
0, vı <La 
(—99«a«oo, 8>0), 
Aas s, X AKERE. 308018 Nr ANR d (m, e, 
2o)) 来 估计 可 靠 性 函数 
人 ra， B) 一 Pue[Xai>> 右 


ag o 或 1 Grae 或 vao), 
由 第 一 章 例 6.6 AL OC, T) R36 4 HERI, JUR TS M Xu 


(n—r) X — (n —1) X a, ARÄ CX iy, s X 3 SE BE Dy 
J (vu, "tt, Dery 95, p) | 


* £y tn — T) Tr) 
| 


0, & 77 V1. 
作 线 性 变换 Xay7Xa, T-2 Xt (n—r) Xon 一 (n—1) Xo, 
Y= (aiti) Xa- X q-3) (—8, UU, r), Hf 1E 13 CX o, T, Y,, 
5 了 ,) 的 密度 为 
9 (vo), 7 Js, ***, Yri 0, B) 


ng exp| --g— 5 Ga = a)l, 
4 ata, O«t, y20($—8, e, r), Yat Hyt; 
0, 对 其 它 情 况 . 
于 是 (Xa), 了 ) 的 分 布 密度 为 
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g(a, t, Yz, MAA Yr; e, pg) dys -dije 


y> G=, e r), $ ws: 


g 2, t; «, e-f 


n -$(£a,—0) 1 ET -$ 
= — ê E 
B DaG-DEJ' Te 
— oO «ga «oc; 
070, wa, i ) (3.2) 
| 0 8-oo 


利用 定理 2.2 的 证 明 方法 , 不 难 推 证 (3.2) 族 是 完全 的 .从 而 证 明 
T (Xo, 了 ) 为 完全 充分 统计 量 . 
下 面 来 验证 R, (a, B) 的 UMVUE 为 
tro) 
É,(X, T)- 当 vL Xa (3.3) 

I. M T Xa. 

由 广义 B-R-L-S 定理 , 仅 需 验证 Eus f. (X(s, T) - D. (a, B). 

WE (3.2) 5j (3.8) 55, 24 r<a tt, A 


Eco | da N ieta D&=i, (8.4) 
m r>a 时 ,有 | 
Ea, | dz |^ fle, Dgo, ti, Bt 


e daz |. R- s, i)g(c, t;a, B)dt 9 I,-- I5, 


其 中 
l "n -7 z-a) ， 1 — 
? Jj , da f, gc pep € 
n(t—a) 
= e 必 ; 
T. f—a 
L-|' ds | ( (2— =) [max (0, G5) 








TA) 





t 
te 8 dt 


x 
* n—1i .n(r—a) a 1 à 
5x47 eb rG—5 


m -2 ot 
x(1- zey t-26? di, 
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A z2-i—-c4-c,1H | 
Mx-—T fT NT m. oo 2 
P=e | n1, 4 da | t 20 1 g- 8 dz 





a f o B'* l'(r—i) 
一 去 Cr 一 ol a) 
从 而 有 
_1 T 
Eq sf ( Xa, T) =I ^^ ^ (8.5) 


f (3.4) 55 (8.5), (FIERE Ec s E (X, T) - Reo, B). 

由 这 几 个 例子 可 见 , 利用 B-R-L-S 定理 ,困难 往往 在 于 求 找 
完全 充分 统计 量 和 计算 条 件 期 望 ， 而 且 随 着 分 布 族 和 待 估 函 数 的 
不 同 ， 困 难 程度 也 各 异 . 关于 完全 充分 统计 量 和 UMVUE 的 结 
JR, 可 查看 [12] 中 p.158~p.174. 


三 .一 点 附注 | 

在 本 小 节 我 们 要 指出 : 广义 B-R-L-S 定 理 给 出 的 关于 

UMVUE 存在 性 的 条 件 并 不 是 必要 条 件 . 
例 3.4 E XU 

9, M p= 


Er 
(1—8)39*, 34 k=0, 1, 2, -- D 


PIX -E-l 7 
(8.6) 
id g0) =0, ga(0) = (1—0)*,. 以 下 证 明 g1(0) 不 存在 UMVUE, 
而 ga(0) 却 存在 . 
设 %(w 是 0 的 任 一 无 偏 估计 - 因为 对 任 一 9€ [0 1],7H 
0= QD -D0+ : 2190) - —0)30*- 
-4(0) + $3 ($(— 一 2) —2ġ (k — 4) 4-4 ()6*, 
HA o(E) —ko(1) (= 一 0, 1, --). #8 $ (1) =c, N (o) = 
ec, 于 是 便 得 到 0 的 无 偏 估计 的 全 体 为 | 
Yo= {0cX: C 是 实数 }, 
当 X-——15-—1B,4TQQX)-150 RARE TXE, 


e £2 e 





六 (的 的 一 个 无 偏 估计 ， 则 ga (8) — 0 的 无 偏 估计 的 全 体 为 
9 -— (Ts--cX, c 是 实数 }. 
XME— e, HJ X. E O f 26 i i, mi 
cov, (To -eX, X) 5 E;[To4UX) X ce, X^ —0£E,X | 

= -6-- c9 1-0) È P) =0[ -1+0 (1+ :52)] 
显然 , 对 固定 的 e, 总 可 以 找到 9096€ [0, 1], 使 上 式 0， 于 是 由 定 
理 1.3 知 ， ToteX 不 为 6 的 UMVUE. 再 由 ee 的 任意 性 ， 这 就 
证 明了 g.(0) 8g UMVUE RE, X, 当 z 一 0 时 ， 令 了 ai(z) — 1 
当 w 一 一 1 1, 2, = if, 4 T.(2)—0, "RAE TiCX) 9g ga(9) 
的 无 偏 估计 .又 因为 对 任 一 实数 。 有 

covo (T4, eX) -eESCI (X) X) —0, 

下 根据 定理 1.3, 即 知 TGCX) Ou g. (008g UMVUE, 

因为 可 估 函 数 n (0) UM VUE 不 存在 , 那么 时 广义 B-R-L 
-S 定理 可 知 , 分 布 族 (3.6) 不 存在 完全 充分 统计 量 ， 但 另 一 方面 ， 
gs(9) 的 UMVUE 却 存在 ， 这 说 明了 完全 充分 统计 量 的 存在 并 不 
是 UMVUE 存在 的 必要 条 件 .， 这 就 是 说 , 当 完 全 充分 统计 量 不 存 
在 时 ,一 个 可 佑 函数 的 UMV UE 可 能 存在 也 可 能 不 存在 .在 这 种 
情形 下 , 要 判断 UMVUE 存在 与 否 , 乃至 当 已 知 其 存在 时 来 解 它 ， 
就 不 能 简单 地 套用 广义 B-R-L-S 定理 了 .此 时 ,只 能 根据 面临 的 
分 布 族 及 待 估 通 数 的 具体 特点 ， 采 用 各 种 不 同 的 特殊 方法 和 技巧 
来 研究 解决 ， 关 于 这 方面 的 工作 可 参看 [11]. [15] 等 . 

但 是 ,在 常见 的 分 布 族 中 ， 大 部 分 具有 完全 充分 统计 量 . BN 
此 , 广义 B-R I-S 定理 得 到 广泛 的 应 用 ， 以 下 几 节 , 我 们 将 介绍 
这 个 定理 在 几 种 重要 的 分 布 族 中 的 应 用 . 


$4 ”指数 型 分 布 族 中 的 参数 记 偏 估计 


本 节 将 讨论 广义 B-R-L-S 定理 在 指数 型 分 布 族 中 的 参数 无 
偏 中 的 应 用 . 


e 83 e 





一 、 指 数 族 的 完全 充分 统计 量 
为 了 利用 B-R-L-S 定理 求解 指数 族 中 的 UMVUE, 我们 先 


介绍 一 个 重要 的 完全 充分 统计 量 ， 
定理 4.1 ix X HJ EIC A R 


dPs(w) m e(Bexp[36/Tye))du(s) (8€6). (4.1) 


EU BARCO x78 PAR, WA iE Ta) (Te), o, 
Ti(w)) 是 完全 充分 的 . 

证 由 (4. 1) 式 及 因子 判别 定理 即 知 了 是 充分 的 以 下 证 明 
其 完全 性 ， 记 duT()39 dp (z)xüxt T 3E C7, 纹 ) 上 的 导出 测度 ， 
BARDNEY T ET, 纺 ) 上 的 导出 分 布 族 为 | 

dPI()-e(8exp|S)6.,du'() (BEO) (4.2) 
不 失 一 般 性 , 可 设 原点 为 @ 的 内 点 ， 因 若 不 然 , 作 变换 Ó—0 —6,, 
其 中 bo 为 @ 一 内 点 .于 是 新 参数 空间 6- (0:0-0—0, 0c 6) 
以 原点 为 内 点 ， 我 们 可 对 新 的 参数 0 来 讨论 . 从 而 , 存在 3>0, 使 
O 包含 矩形 I= (0, …, 62:16 «8, j=1,…, kh, | 
设 SORE P, 0 cor n Bu E XHE— 066,8 


e( f. FOÀ aur) =0. — (4.8) 


因为 £0) -/* (0 7 A, f+、 广 分 别 为 了 的 正 、 负 部 ， 于 是 对 每 
一 0EB 有 


[ ^ popa =], eh (du'(). (4.4) 


根据 指数 族 性 质 (第 一 章 中 的 定理 2.2): (3.4) 两 边 在 区 域 
(Gir tnm, 1, Eutin): ($i, UL ER ME d, nm, "Uy Tk 为 实数 } 
对 每 一 分 量 0; 是 解析 函数 ， 因 此 ,根据 复 变 函 数 解析 延 拓 定理 , 有 


j, e rone -[ P"5f-ü)du-(). — (4.5) 


POTE 








在 (4.4) 式 中 取 9~0, 得 | | 
aaf EOWA =h f toan «eo. 
车 4-0， 则 f(t) 一 0，a. e. nz， 从 而 对 每 一 9EB@， 有 上 CD) 一 0， 
a. s. P3. d£ a0,id 
TAO OOR AOE ROLO) 


ENEC, 多 r) 上 的 两 个 概率 分 布 ， 由 (4.5) 式 知 ,这 两 个 概率 分 
布 有 相同 的 特征 函数 ,从 而 有 dP+( 人 ) 一 4P-( 人 ), 即 有 
(Of -f*(0 - f (0-0, a. o. u”, Ai a. s. PY (OEO), 
这 证 明了 分 布 族 .3.2) 的 完全 性 即 了 的 完全 性 . 定理 得 证 . 

由 此 定理 给 出 的 完全 充分 统计 量 , 利用 B-R-L-S 定理 , 可 直 
—Á M UMVUE, 

014.1 i X, …, X, 为 iid, 随机 变量 ， P,[Xi1=1]=0, 
P,[X,—0]—1—8 (6 € (0 1). PXi= t, e, Xn = Tn = 


9*^ 1-8) * -e(9)ern?, 3h (8) = (16, p= lor. 
(-9<p<00), T(s) - Sn, XEL o 为 自然 参数 的 指数 族 . 因 
为 自然 参数 空间 为 实数 轴 ， 故 由 定理 4. 工 知 ， 了 为 完全 充分 统计 
量 ， 现 要 估计 0 一 -人 二， 记 为 g(p)。 Ta) -E TQ) = F, 
因 E[L$x.]-5, sti B-R-L-8 sesto, X y 0 t UMVUE, 

B42 RX, os X Wiid, MIER, Xa N(s, o?) 
‘(oo<a<o0; 0<a<co)， 要 估计 g =a, ga o*, g= F, 
g= Pon [Xi <u] 0 (72), ob u X BRA. 

EDS OX, s XAAR DE 


1 " Ji (z,—a)* ; 
(=) ETTE O dodan 
^ ZTO 


=¢ (b, ba) go T DaT dw) , (4. 6) 








a 1 LR TE aii 2 ' 
um y Ti(s)-2im, Té(s)—21«i, 


g^ 2g^ , 
elh, 8) - (— dl. )e ES zg , dus) = ade: das, 
^/ 3235G | 
自然 参数 空间 @= (001, 6). -<b <0, —oo—064—0], 因 其 
有 内 点 ,根据 定理 4.1. (T, Ts) 为 完全 充分 统计 量 , 于 是 与 其 等 价 


的 统计 量 (5, s (LX, Xa - 2?) tesi e tnt. 因 容 易 
WiE ez o Les forteso (VET (E) 
BI a, 0, ay REX EE, IR D-R-L- eR, 它们 人 
别 是 被 信函 数 的 UMVUE, 

下 面 来 计算 8( =) 的 UMV UE, KA Ls us (2) oa 


其 中 























的 无 偏 估计 ， 故 由 B-R-L-S 定 理 ，P[X,<wj5, e o( 5) 
的 UMVUE， 作 正 交 变换 | 
了 :一 Vn, een Y,-3 O,4X, 
(428, =, n), (4.7) 
因为 六 H Ya, S= D Y? 独立 , 放 有 条 件 密度 


oy -了 oa Vs) _ Sala) fs ys) faC? | ys) 
fans, eS fC) fats) 
ja ea / 4.8 
fim) ^ TE 


2 


- EREE —- 
其 中 f4) "oo e . 


r-i i l 
Aaa eA a 
A E et 


7 i = 
fa?) 当 20, 
0, M <O, 
又 因为 E -2), Z 与 了 a 独立 ， 而 S?-Y24-0?2, 








NOM Yam gya hi, O BUR PESE HE o? Z - 5 B9 95 BE, 即 为 
fas | ya) 











B? (egt) E28) f 
i Sz 
0, s$ «yi, 
把 以 上 各 式 代 入 (4.8) 式 ,得 
) (站) LM 
faz HVT) t 
M SS 
0, M gh; 
于 是 
P[Xi;«ul|z, 9$] — p O NE $?)dys, 





4i 2, fH 
8 








r(25:) 


dne Em sz) inu I. 


23r (p) r (p+) 8 





利用 勒 让 德 等 式 (2p) = J- 


P(X;4«ul|z, s?) 
I'(n—2) 


n—4 
| — "—f n-5]2 (I B z) De dz, 
{1st<1, £« 2 I D T) 


—— 
I 





Rec TF TF 


e 87 > 








P(X;-«u]|z, s) 





二 | 
(1—2) 2 t > di, 


rcx 














2 ” 2 
其 中 
O= {t; |1—2i| «1, 1—2t«»v) 
$, B ec-—lh 
= ft, Lye. 当 -1<v<l; 

(O0xt«i), — 当 v1, 
TERE D(H) iy UMVUE X 

0, 5 o< —1, 








1 | LÍ —92 
$e) -1].. e(^ y, ) m 1e, 
EK um 


1, 4 1- v | 
(4.9) 


它 的 值 可 通过 不 完全 B 积分 表 查 得 ， 此 例 可 参看 [3] . [5]. 


二 、 单 参数 指数 族 参数 的 UMVUE 
我 们 考 虐 单 参数 指数 族 

dPs(w)~o(0)e ody) (GEO), (4.10) 
其 中 du(z) 一 h(w)dw 关于 荆 测 度 绝对 连续 ，6 为 BR! 中 的 某 一 开 
区 间 ， 由 定理 4.1, (2) 为 完全 充分 统计 量 . 设 du(2) 通 过 工 在 
CZ, 2) 上 的 导出 测度 为 dz 的， 且 关 于 二 测度 绝对 过 续 ， 
dj" (0) —v»(0)di, 那么 dP, BA T dE (7, Zr) LS s CREE ARE 
为 


—- 


 dP$ (t) =e ytd (0c6), - (4.11) 
假定 9 的 是 9(b) 的 无 偏 估计 , 于 是 有 
O=O Pdt (966), — (4.12) 


e &B à 





可 见 9(6)/e(b) 为 y Cp 人) 的 双边 拉 普 拉 斯 变换 、 根据 双边 拉 氏 
变换 的 有 关 论述 , 我 们 有 如 下 结果 : 

定理 4.2 在 上 述 记号 与 假定 下 , 又 设 

O g(s) 在 区 域 {8:s 一 9 二 记 , OEO Eige 


(iD 统计 量 了 的 特征 函数 加 (~ [et9)y(2Das 满足 条 


P. 
(a) lim go( —)g(8--iu) 0, 在 @ 的 每 一 闭 子 区 间 上 一 至 


成 立 ; 
© [^ Igu) Otin) du eo, 
则 下 式 有 意义 ; 
W (f =lim 工人” (98) Vas (cE€0,1€ RY. 


uo 254 Jo CCS) 





(4.18) 
LF | | | 
HWA {t ,y1)201,2.e.L, (4.14) 
出 g(0) 具 有 依赖 于 # 的 无 偏 估 计 | 
W(0/y(0, 3vY()-9 
p(t) -| 0 Se (4.15) 
它 就 是 y(0) 的 UMVUE, 


为 了 给 出 定理 的 证 明 ， 我 们 先 回 顾 一 下 有 关 双 边 拉 氏 变 换 的 
知识 : apa R EE L aI xd 若 复 变 函 数 


à (s) -| 9 (2) e" dz (4.16) 


在 某 一 平面 区 域内 有 定义 ， 则 称 其 为 g(z) 的 双边 拉 氏 变换 ， 并 记 
为 B(os). Wf ELWEBH, E D (s) 5j (ss) 存在, Fi (s:) <Re(sa)， 则 
在 区 域 {s: Ee (s) « Be(s) « Re(s2) P3 D (s) 9 4f4E. 

双边 拉 氏 变换 有 如 下 反 演 公式 : 设 (s) — BQ; s) f£ is: o 
Re(s) < 内 存在 , 则 对 任 一 ecE (o1, Ca), A 


p(s) = lim — i |: Q(s)e*ds, a. e. L, (4.17) 


To0 pr 


e 8$ > 





双边 拉 氏 变换 有 如 下 表示 定理 ; 
xi o (s)xr(s:o1-— Re(s) 二 aos} 内 解析 ,并 满足 条 件 ， 
(a) XHMEXHBJ d<a, [91, 04] C (o1, Ca), Æ 
lim (s) —0, HAE (s:9:« Re(s) <5} 内 一 致 成 立 ; 4. 18) 
(b) 对 任 一 cc (0, 05), 有 
| 1 (oin) duco, (4.19) 
则 存在 R 上 的 五 可 测 函数 p(z) ,使 B(o 9 的 存在 范围 包含 区 域 
Ís:e1« Re(s) « o3), 而且 在 此 区 域内 ,Boi s) e (s), 
定理 4.2 的 证 明 ”由 指数 族 性 质 ( 第 一 章 中 的 定理 2.2) 及 假 
RREO, g (9) /cs) 在 区 域 fs:s 一 9+iw, 8C 68} 内 解析 。 又 因为 
g (0 --u) /e (B -- iu) = g (8 -3- du) b. e 9*9» (tdi 


=I $ Cu), 








|» e() | 
Bh BERE AE 0), 9), A 
lim LET —0, Efe 6 AAFKE, B 
[eru meo eo. 
MAR es e mtn LE REAR W CO, n (4.13) B 


示 ， 由 双边 拉 氏 变换 的 定义 ,有 
2d -全 e*W (t)dt, sE (s, s—-6--4àu, OEO}, 
从 而 有 
O= Wd OE), — (4.80) 
XH (4.14) 及 上 式 , 我 们 有 


9g (6) O R a Ddt=e0) | e-"'W (tdt 


(0790) 
-Of a E K )v(di-e() [^ ex» (dt. 





再 由 B-R-L-S 定理 ,定理 4.2 即 得 证 . 
下 面 一 些 例子 是 定理 4.2 的 应 用 . 
例 4.3 在 单 参数 指数 族 (4.11) 中 , 估计 9( —0", 为 自然 
数 . BE m<k, 7 ，a. 8. 工 存在 ， 且 ey 中 (为 工 可 积 ， 
{7 天 0} c(t.» (00), a. e. L, lj g(0) nf f, H; UMVUE 
为 
e H YPO, y>; 
7 (1) —0, 
证 Bey" OH LAE, Mr4Ea—-—oo.b,oo, 使 
e ny Qm (aq) 0, ey ™ bn —0(n—9oo; m=, -«, k). 应 用 分 
部 积分 法 , 得 


bn bn 
上 e y(t dt= — Ly (t) E 


令 n-»oo, 得 人 pa e 9y (td, 


用 归纳 法 可 证 


[etyod- LL enmeoa. 


BED i-e ety -- yode, 


(4.21) 





pt - ey D(A dt, 


所 以 有 Pae) ecUy9oa. 


X3 (y 9 (£) &0) c (y (0 —0), 8C (4.21) 3 Brig SC o (D 29 0* EN 
ICAR fii il, 再 由 B-R-L-S 定理 ,本 例 即 得 证 . 
例 &4.4 i Xi e, Xa H iid. MILERE. Xs 具有 密度 
Gni, oz RI Rd x c2, 
0, Ms Occ, 
(P>0 已 知 ,0 天 wc<ce)， 
现 来 估计 gla =a, r 为 使 np—770 的 常数 。 
EAX, cc, XO 
. 81 > 








dP,(gi, e, o) 
0, AU. 
这 是 单 参数 指数 族 ， 由 定理 AA 4L T-2i 是 完全 充分 统计 


量 . 了 的 密度 为 | 
Gt; a, np) = | "m QEIOL 20 


«0, 
FEH o(a) = Ty , VH =t 


"——— ay 全 内 E 解析, 当 
Np 一 7 之 0 时 , 存在 拉 氏 道 变 换 , 通过 查 表 , 可 得 其 道 变换 为 
W (= Ti £70, 
于 是 由 定理 4.2 知 ,g(a) =o" 的 UMVUE 为 
$0) - Y (/v( re EL r7, (20. 
Z np—2r70, HA T 积分 容易 算出 此 估计 在 平方 损失 下 的 风 





Varag (T (XY) -ee ee C (ep ? p-ar d — gi 


- [Leg qp 20. a 
I'(np—7r) Ü(np—r) » | 
Aion 为 自然 数 时 ,利用 例 4.8 中 的 公式 (4.21), 可 以 算得 相同 的 结 
TR. 

pj4.5 ü X3, uv X, 为 üd, 随机 变量 ， Xı~ NO, 1) 


(oo0<9 二 oo0)， 估 计 密 度 函 数 qa (8) m 7e EU Mo as JR 
一 固定 的 实数 ; 假定 n1, 


由 定理 4.141, T= —nz 为 完全 充分 统计 量 ， BT-N(- n8, 
n), T 的 密度 为 














dP7 (t) -« (ey dt, 

katacak ,所 =e 五 ， 儿 的 特征 函数 为 
因为 
Pel(— u) gs, (0+iv) 
LU 1 : 
P oxp{ 6Gro-- (n—1)9)u— 30-0 L, 
于 是 注意 n>1, 有 
lim [$e Ct) ga (Ot) | - lim ge (0) 3^ 7" —0, 





1k 6€ [a, 四 中 一 致 成 立 ,4<5 为 任 二 实数 . 又 有 


| | Pe ( z u)9z, (8 Hiu) | du = gz, (8) 全 gie duc oo, 





显然 ,Ju (9) 7 osp | gros) 在 全 平面 上 解析 ,从 而 定理 
4.2 I VERTES STRE. gu(s)/e(Cs) 的 双边 拉 氏 逆 变 换 为 


* Ial) ,ts 
wC) = 二 "e e^ds 


-| ( JC) / Gs i. F Fea 


zu Wo cdgp pus 
ma ju vx € go nob 
v —1 A/ 2% 


利用 公式 (4.15), 9, (0) UMVUE 为 
wi) n 1 1 (not)? 
galt) = y) -AETI exp] .2 n(n—1) H 
或 者 
A um > Ee 1 (zo 一 人 )2 
Pal T) = ga (7 n2) = rz get CP 
MV 2n Ji-l i73 ^ (1- iy 


下 面 来 计算 6.0087; £, 注意 有 一 般 结果 ; 设 了 、W 是 两 
* 98 2 




















个 随机 变量 ,W~N(9, 9), YIW NOW, o°), Wm Y —N(8, ++ 
o), dA W -X(--N(6, 2) y|X-N(X, i(-1). 


2 
那么 Y N(6, i,.16.1)y-r(s, in 1+n 





) 于 是 有 
fin m [P fas fna, s 00d 

—5(—0)* 1 
FERES 


————À—J—— (2) 
xe? ((1-:12) dz 


-| 


— ÁN 
“i i Ce (4.22) 
于 是 
Varo0 (X)- x LI 3 jap 


一 00 


i 


wa 
-一 一 一 一 二 m P —^a-ey* 
LE qoc) vem 一 oo 


si Jy ^ne 


dL expC- (a0 -0)*) 




















o. —5* 1 
XE 141 一 一 一 6 
n 2o 





—(a.—0)* 





a 1 ge E nT -1|. 
22t n? | 


其 中 第 三 步 利 用 了 (4.22) 式 , 38 y 换 成 vo. 
最 后 , 若 记 

fR -f ĝa Dda aea 

e Mies 

n 





利用 Fubini 定理 , 可 得 
BQ4X)-[^ Bin | ee do, 


= PLX: <r] —O(v—6). 
ap, Ê. (X) A ó(v—-0)ftj UMVUR, 





$5 位 置 参 数 与 刻度 参数 的 无 偏 估计 


一 、 截 断 型 位 置 参数 的 无 偏 估计 
根据 R. F. Tate 的 分 类 ， 位 置 参 数 可 分 为 两 种 类 型 ， 截 断 
型 的 (trancation) 和 转移 型 的 (translation)， 本 有 段 扼 要 介绍 下 面 
两 种 单 边 截断 型 位 置 参 数 族 的 无 偏 估 计 问 题 . 
I 型: 关于 一 维 荆 测度 的 分 布 密度 为 | 
f 0)—Ki(0)(2), a«0-c«b, (5.1) 
其 中 加 (2) 是 (a, 5) 上 定义 的 非 负 可 测 函 数 ,对 于 任意 的 
6€ (s, b), 0<| 和)az<co K10)- [| hode]. 
II 78. 关于 一 维 工 测度 的 分 布 密度 为 
fín0)—Ksa(0)h.(z), a«m«0-b, (5.2) 
其 中 hale) Ela, b) EXE XL HAE fa n] 2U KR, TERK 
6€ (a, d), 0 | halz)de<oo, Ka(0) - [| (can 


卢 昆 亮 、 赵 林 城 还 研究 了 双边 截断 型 位 置 参 数 的 无 偏 估 计 问 
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题 , 关于 这 方面 的 鱼 果 可 参 君 Dg. — 0 | 
首先 ,对 上 述 定义 的 工 IL 作 几 点 说 明 : (Da, b 可 为 有 限 数 ， 
也 可 为 —eo.oo, (i) 由 定义 可 知 , K0), Ka(0)dk(a, 5) 的 任 一 
闭 子 区 间 上 是 绝对 连续 的 ， 从 而 Ki(0), KOHE, b). 上 a.e.D 
存在 ,并 且 对 任意 a<o<d<5(i~1, 2), 有 
Kd) -Ko - 其 (o)am — 
(ii) 为 了 行文 简便 , 以 下 均 设 (2) 0, e € (a, b) (i=1, 2). 
引 理 5.1 EX, =, X, X did, 随机 变量 . 车 及: 服从 I 
型 分 布 ， 则 Xa min( Xi, AT) X4) 956462 B 者 X1 IR 
MAI 型 分 布 ， 则 X m=max(Xı, Ue YY) 为 完全 充分 统计 量 . 
证 4X. ur. 8H II 型 情况 ， JE CX, "5 X) 83] 35 HE 2g 
IT f, 0) = (Ka (8)"EL s Gn) Lo C9). 
由 因子 判别 定理 立即 可 看 出 ， wt RAAE. BI, Xeo 
”具有 密度 
. y N% 一 荆 
-— R "idt (| 和 oaz) OEC 
| RE 
车 对 任 一 9E (a, d), Ex (Xo) =0, WHHE— 9€ (a, d), 有 
NICO haly) $ay =0. 
由 实 变 函数 中 的 有 关 知 识 ,有 í | 
[az mal) p(y) 70, a. e. LT (a, B). 


但 对 任 一 9E (a, b)H ^ ja(o)dz>0， 加 (的 >0, 故 有 


| $(y)-—0, a. e. L T (a, b). 
从 而 ,对 任 一 8€ (a, 6), 有 
P$ Xo) #0] 


EO | pfo) maamo, 





这 就 证 明了 XQ» 的 完全 性 . l 
现在 我 们 来 考虑 工 型 分 布 族 的 无 偏 估计 问题 ，9(9) 为 待 估 实 
WU. 假定 存在 依赖 于 一 个 观察 值 X 的 无 偏 估计 POCO, 则 对 
任 一 ge (a, 5), 有 
EK1(0)| 4(c)ia(e)dz 一 gg) 
或 





KOOLE £2 o (B.8) 
因 上 式 左边 及 Ks (6)36(2, 5) 的 任 一 闭 于 区 间 上 都 是 0 的 绝对 连 


HOC MIOS EO 亦 然 ， 于 是 对 者 .3) 式 两 边 求 导 后 有 


Nhl) = — E). ae. DF, b), (5.4) 
理由 (名,3)、( 名 ,4) 式 可 推出 | 

(EE) 在 lo, DETRE o6 (s 9). (8.8) 
又 因 djc(a, D LEEN ERR, KA 








g(2) .g(d) 
X6 -.- OS )e 3X5 
- ét h)ds Ry. "D (5.6) 
4& db 比较 (5.6) 式 与 5.3) 式 ,可 推 得 
(x 
lim 162. —0, (5.7) 


可 见 (5.5)、(5.7) 为 9(9) 存 在 无 偏 估计 中 (2) 的 必要 条 件 . 反 
Za eel XP 
把 上 述 过 程 倒 推 过 去 ， M PAN O 的 无 偏 估计 ， 子 
是 有 如 下 定理 ， 

定理 4.1 WX, Xa H d, 随机 变量 ,4 上 共有 I 型 的 
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密度 ，g(0) 为 在 (a, 纺 上 定义 的 实 函数 , 那么 它 具有 仅 依赖 于 一 个 
观察 值 的 无 偏 估计 的 充 要 条 件 是 (5.5) 与 (5.7) 成 立 ， 当 这 些 条 件 
满足 时 ， 依 赖 于 Xe o, X, 的 9(9) 的 UMVUE 存在 且 唯一 ， 并 
为 


Log Xa) 0 
gCX a) gC Xa) nA CX s Xa) . (5 .8) 


证 定理 的 前 半 部 分 以 上 已 给 出 证 明 ， 并 已 得 出 ， 当 (5.5)、 
| Po Eo ) : Z 2 £ 
《5.7) 成 立时 ，%(XD) 一 一 (从 全 ) / I COXO7 OR 
计 ， 由 引 理 5.1 知 , Xo 为 完全 充分 统计 量 , 因此 利用 B-R-L-S 
定理 ,只 和 需 证 明 (5.8)= ATTEN s. Bf, 
因为 Xi= Xo 的 概率 为 =, 而 当 Xi1—.Xu 时 ， Xo 即 为 
Xs, iip Ai 的 最 小 值 ， 从 而 与 X1 独立 ， 所 以 当 £12 9) 时 , 有 条 件 
密度 d 
£n | x (i123) 
n-3 
K;(8)hs (m) (n1) (E (0) 739 (9) [f haas] 
a CE (8) Ceo) [ Dat] 


-(i-i)«co [| c. 








- 
i $(x1)hı (21) dz, 
AE($(X) 23) 一 二 $20) +(1- pipen 
| ^ ED 
注意 
| $ (sh; (a)ds— CMT B 
Ja MO dt uy ak 


对 (5.11) 式 两 边 求 导 , 可 得 








FANS 
Kilema) hi(25) ” 


从 而 有 
Plta) = — e ipm 


a. e. L (a, b) 


= 4 o Jw) —— 
( ruo ha) 599 E Gn ra 


= gu) i e, TF, b), (5.12) 

# (5.10) . (5.11), (5.12) A (5.9), 4818 (5.8). 

ME 车 5<o0, 当 yg(w) 在 [9, 好 上 绝对 连续 时 ,(5.5) 与 (5.7) 
自然 成 立 , 这 里 0C (a, b), 

对 于 开 型 分 布 族 , 同样 有 

定理 5.2 Wb X, …, X, 为 did, 随机 变量 ， 邓 1 具有 开 型 
密度 (5.2), OREU, 8) 上 定义 的 实 函 数 ， 则 它 具 有 仅 依 赖 于 
一 个 观察 值 的 无 偏 估计 由 ( 开 1) 的 充 要 条 得 是 


a) (EE) 在 ( ol 上 可 积 (对 任 一 0€ (a, 8) 
(ii) im $5). -0 


在 比 二 条 件 得 到 满足 时 ，g(0) 唯 一 地 存在 依赖 于 (在 1,，…， Xn B 
UMVUE. 
g(Xq) = g(X m) +g (Xim) / NE aX m) hal X w)). i (5.13) 
例 5.1 wX, e, Xa K id, MILER, Xie (0, 9), 
0-0-oo. KERN 


f0) =} sE, 0), 


故此 是 II 型 截断 族 , 这 里 加 (2) m Ka) 7. 

4 g(0) -9， 现 在 来 估计 NO). 因 它 在 [0, e] Eden st, 
故 满足 定理 5.2 的 条 件 GD) GD. 由 公式 (5.18) 便 得 9 的 
UMVUE 为 

e 98 o 








ÓCX m) -(i- ) Te. 
同样 可 以 得 到 M6 的 UMYUE 为 
ga X) = (i -)V Xe. 


Wi e* 的 UMVUE X CX) (14-2 Xs )ov To, 





X31 的 分 布 函数 
0, 当 2«0 
F(n0)-| La, 当 0<z<0 (HBAR) 
1, M gez | 
EW ES84.22&[p, Ii UMVUE X — 
0, 2.0; m 
^ 1 z f 
Xe eu 0<2< Xa 
g«(2 (m) | ( 2)X. Z (9 
TE X «X2, 


二 、 转 移 型 位 置 参数 的 无 偏 估计 
设 f(w) 为 一 个 一 维 分 布 密 度 ， 我 们 称 分 布 旋 
dPo(w)~flo~0d (一 co<g<co) ee 
AX MEAE O0 的 分 布 族 . 
~ NÈ X, X. 为 Wid， 随机 变量 ， X, 具 有 转 殉 型 密度 
(5.14). 我 们 称 统计 量 U (2i, …，%。) 为 转移 型 的 , 如 果 对 和 任意 的 
v1, 5, 9. 及 Cc, 有 
‘U(wto, +t, Ente) -U(2, e, 2,)4- 6. (5.15) 
fi X, Xo, Xo 等 都 是 转移 型 的 统计 量 . 对 于 转移 型 的 统计 
量 U, 如 果 有 分 布 密 度 ou 0)， 则 0 必定 也 为 转移 位 置 参数 事 
sk, 因为 当 X, f(z,—0)m, X,—0-—f (2) ($— 1, Ttt, n), 故 
当 U(X; 0, Xn) ~p lu 0) ,UCX4—0, =, X,—8) —o(u 0), 
从 而 U(X +, Xa) -UCX1—8, =, X,—0) -0—9(u—60; 0), 
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plu 0)-9(u—6,0), Zug hlu) =ø(w 0), t J& — 3h 
于 是 h(u—0) Bu 3S 0 Rt U 的 密度 ,根据 定义 (5.14), 0 
We | 
i& 9( 幼 为 待 估 函 数 ， 以 下 我 们 来 求解 依赖 于 U 的 无 偏 估计 : 
如 果 9(Z) 合 乎 所 求 ,那么 应 有 


| ghu- 8)du- g(8). Ce<b<co)， (5.16) 
SHa) -= h(—w), ERAH 
| (u)H(8—-u)du—g(8) (—eo«0«oo), (5.17) 


即 有 9* 且 =g, g 为 9 与 五 的 郑 积 .因为 于 EJL1( 一 co, co), 如 
AR gEL(- co, oo)， 容 易 验证 (5.17) 式 左边 确 有 意义 ， 这 样 ， 
Mg. 五 满足 适当 条 件 时 ， 我 们 便 可 以 通过 Fourier 变换 法 或 
Laplace 变换 法 由 Hg 解 出 9， 下 面 仅 介绍 Fourier 变换 求解 
id. 7 Cf -| e'""f(z)dz Jg f lj Fourier 变换 ， 对 (4.17) 
式 两 边 同 时 施加 Fourier 变换 ， 因 二 函数 卷 积 的 Fourier 变换 等 
于 此 二 函数 的 Fourier 变换 的 乘积 , 从 而 有 | 

J (g; £).7 (H; t) -.7 (g, Ù, 
于 是 A (gi 0) —.7 (gi 0 /-7 (Hs t). 对 此 式 两 边 同 时 进行 Fourier 
逆 变 换 , 得 


GU) = FF (g;t)/F(H:;t);W. (5.18) 
但 是 , 上面 的 运算 都 是 形式 地 进行 的 , 要 使 每 步 能 通过 ,应 要 求 ， 
g€lIi(—oo, co); (5.19) 
9 € I (— co, co), .. (5.20) 
J(H,0)0 (对 任 一 信 . (5.21) 


不 过 ， 如 果 由 (5.18) 式 倒 推 回 (5.16) 式 ， 只 能 保证 5.16) 式 在 
a. 8. 工 意义 下 成 立 ， 于 是 我 们 可 得 如 下 定理 
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定理 5.3 Wb X. X, did, UMER, X 具有 密度 
(0.14), U 为 转移 型 统计 量 ， 具 有 密度 1 一 0)， 并 记 瑟 (CO 一 
h(—u), XfBsE (5.19), (5.21) p xr, W gO 如 果 存 在 一 个 五 可 
积 的 无 偏 估计 9 了 (Cw)， 那 么 必 唯 一 地 由 (5.18) 式 给 出 、 反之， 车 
9(g) 为 连续 函数 , (5.19), (D.21) 3 ju 3r, Fg 0 /.7 CHs D RH 
Fourier 3k 26 k fg 4k, Ho XD. pL H(5.18)R H By gu) 
(5.16) 式 左 端 右 ( 或 左 ) 连 续 ， 则 9 必 为 g(9) 的 唯一 的 依赖 于 
U 的 无 偏 估计 、 又 若 六 为 完全 充分 统计 量 时 ，gGO 是 9(C9) 的 
UMVUR, 

例 5.2 dk OX. e, Xa 4d, AMEE, Xa NO, 1) 
(—9o«0 o0) ,估计 函数 | | 

gO; zo) = = exp [| EFP, 
BR, X. 具有 转移 参数 密度 , 口 二 且 为 转移 型 统计 景 ， 且 完全 充 
分 、 此 时 ,0U 在 9=0 时 的 密度 为 
h(u) = M 


^ 
MV 2x 





— y 


e? , HW) =h u) =h), 





1 2 | 
为。 0-69, £ (sf exp [ist —]. 


故 g (0; To) 的 UMVUE 为 
JE; vo) =F 1 C7 (g 0/7 (Hi ti) 


- Qn [n- 16-3)2)3) 
——— E A) 
"NES 21-2) 


此 结果 与 例 4.5 是 一 致 的 . 





三 、 刻 度 参数 的 无 偏 估计 
1l. 刻度 参数 族 与 齐 次 统计 量 ” 设 随机 变量 具有 密度 
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dP, (z) =f (x; p)dz-—pf(pz) (0-p-oo), (5.22) 
其 中 f(w) 为 一 个 一 维 分 布 密 度 . 称 此 分 布 族 为 刻度 参数 族 ，p 为 
刻度 参数 (Scale parameter)， 例 如 XN (O0, o”, p 一 二 就 是 刻 
度 参数 ,此 处 


E | 
Oee- im, ixi i. 
Iu 


Je. 
Xin XR, 0) (0<g<co)， 二 也 是 刻度 参数 ,这 里 


i, 当 zE [0, 1], 
0， 当 其 它 ; | 


pr^ 
0, 其 它 . 

B Xi e, X, H did, 随机 变量 ， 邓 1 具有 刻度 参数 族 密度 
(4.22). RIII Y — HX, o, XR UE o (o9 0) B JF ok 
统计 量 ， 如 果 对 任意 的 o0,o,, t, ws， 有 Hal ptr +, Pln) 一 
Halts, t, En), mE 

如 果 宕 次 为 xc 的 齐 次 统计 量 了 存在 密度 ， 风 必 具 存 形式 

Ai p) = p*h(p^g). (5.23) 
事实 上 ， 当 参 数 为 p 时， 设 Y 具有 密度 h(y; p), 但 因为 pX,-f (2) 
(—1, =, n), lk Ha(oXs, …， poX,)yc-h(y; 1), AY — HX, 
e, XQ) =p Hal pX, ee, pXq4)7p*h(o*y; 1), ii Ky) — My 1), 
于 是 (5.28) 式 得 证 . 205 7 7x 

定理 5.4 设 X, o, X, 为 did, 随机 变量 , FUÉ 448 (5.22), 
Y-—H.QX, e, ANARE al AORAR, RA SERE 


(5.23), 24 0< E, [Y7] «co IM, W 9g(p) 一 pr 可 估 ， IAN 
偏 估计 





sæ- 


e(Y) -Y E/E Y), (5.24) 
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证 BoY) =f” pl)ph py) oy 
-| pda ( 令 一 z) 


~ as (gt) eth nde 





-一 二 BF 人 一 
i «) 


w 5.3 ix X x, xb X. 为 Vid, 随机 变量 ， XMM Weibull 
4h. 


var diss (et (pas) a-1 exp( — (pz)*), Pit 
(a70 BAI, 0c poo), titt g(p) =e. 
Y-3 Xt 是 寒 次 为 “的 齐 次 统计 量 。 利用 因子 判别 定理 知 
Y 是 充分 的 . 35 0c p*, Z,- Xt, 于 是 Z RARE GGO, 0. 
KY-SEZ R4pEGQ m). NETAY REREN. 当 
n>r/a 时 ， 
EQ »- ^ y 36 (y ddy 2E 
orte D/ 
BAXGOD RP UMVUEX 1 F 
PY TO /TR 
2. Mellin 交换 及 其 在 无 偏 信 计 中 的 应 用 假若 复 变 西数 
MD- fade (为 复 变数 ) (5.23) 


在 某 区 域 有 定义 ， 则 称 其 为 函数 了 ig Mellin Ki. FG ome, 
于 是 


(5.25) 


M(fis))- g ef (e79) dy, 


e T04 à 





可 见 Jo 的 Mellin 变换 即 为 f《e" 人 的 双边 拉 氏 变换 .因此 ， 相 
应 于 双边 拉 氏 变换 , Mellin 变换 也 具有 如 下 性 质 : 

(a) Mellin 变换 的 存在 域 为 条 形 区 域 {s: a Re (s) 57 ,a-—5 
上 边界 可 能 属于 存在 域 ， 也 可 能 不 属于 存在 
域 . | i 

(b) RRAS 

f(z)- S lim (^ M (f; s)v * ds, a. e. L, cE (a, b). 

i (5.27) 

(c) 表示 定理 . 洪 $B(3) 为 在 {8: a Re(s) <b) KH, FEG) 
对 任何 [e, d] c (a, b), 有 lim (s) —0, #Æ{s; e< Re(s)«d] n! 
一 致 成 立 ; (让 对 某 个 cE€ (a, b), fi 

人 [8 (o--it) |dt «eo, 


WACACGM SG), 使 M Cfs 司 存 在 域 包 含 fs: ac Ro) <b}, JE 
EKRA DO - MCA D. 
(4) 福 积 定理 设 / 9g 在 (0, oo) 上 定义 ， 车 积分 
A) - [fe £) 99 (p>0) (5.28) 
AOL, MER AH S 与 9 IRR, 记 作 Jon, 容易 验证 
有 fg gf. 

RE MC 9) MERIR S M() BERA A A 
A= {s:0<Re(8) <d}, W kC) 一 J 的 9 在 p>0 上 a.e. 工 存在 且 为 
有 限 的 ,而 且 h 也 有 Mellin 变换 M (s s), 其 存在 域 包含 A, 

WX o C C, 四 ,考察 二 元 函数 

K (s, p) =P] f Ge) lg(o/a) |F, 2>0, p>0, 


Jf, es aao EHN ola 


= fran ren lae], ot 1o desc 
($ pı” =p/%), 


p dp |dz 





e TOS = 





—— —— — —— a 





那么 ,根据 Fubini EM, K (z, p) $j a. 6. L. o RATIA, Bil 
freie) dum, ae. LF (0, e). 
同时 ,还 证 明了 M (s) - Mfg =M (fi) Mg 9). 

BOX. e, YaN iid, MIER, X. 具有 密度 (5.22), 了 为 
一 宪 次 为 wK( 关 0) 的 齐 次 统计 量 ， 具有 密度 (5 23)，g(p) 为 待 信函 
数 ， 假 若 9CF) 为 g(p) 的 无 偏 估计 ,应 有 

| idee), PEO, oo), (5.29) 
4 pic p^, 并 作 变 换 z= 1/y, 可 得 


人 a 


- gps), p.€ (0, co) 
如 果 当 z<0 时 hw) =0, 那 么 有 | 
SEGUE Rem. pE, o), 
即 有 En 
iie? -. 95, n o). Gm 
对 上 式 两 边 进行 Mellin 变换 ,有 。 
Lepide. 


从 而 可 解 出 


A -eee) /ue} 


3| M( loco, p 1 、 
GD = (Bu (soe;s)/ MG, 3} Gat 
把 如 上 过 程 反 推 回去 ,车 信 9(Y) 由 (5.31) 定 义 , 则 有 | 
E,(g(Y)) 7 g(p), a.0.LF (0, co), (5.82) 
假定 9(o) 为 连续 函数 ,而 上 式 左 边 为 p 的 左 ( 或 右 ) 连 续 函 数 , 则 由 
(5.32) 可 推出 (5.29) 式 成 立 , | 


e ICG. 


或 





当然 ,上 面 的 计算 过 程 也 是 形式 地 进行 的 . 但 加 上 适当 条 件 ， 
这 个 计算 过 程 是 正确 的 .因此 ,我们 有 如 下 结果 : 
定理 5.5 在 以 上 记号 下 , BE s< f hl) —-0, OE g(o) 


的 无 偏 舍 计 9(Y) 存 在 ,三 (0). AE Mellin 变换 都 存在 ， 两 
个 存在 域 有 公共 部 分 A= (to Re(s) <d}, 在 4 E M (s s) *0， 
则 glp) 的 基于 了 的 无 偏 估计 g(Y )J&nE—89, Bi (5.8D 3X He E, 
(11) 又 设 在 菜 带 形 区 域内 , 函数 

| KO « M| g^ s ]/ 0s 中 


满足 表示 定理 条 件 ， 并 且 9(p) 为 连续 函数 ， 由 全 .331) 式 决定 的 
9 Q) fit E,[g(Y)]9 o EUR, HITE g(p) 的 一 个 无 仿 
合计 ， 

此 定理 的 具体 应 用 可 参看 [13]; p. 147, 

以 上 分 别 讨论 了 位 置 参 数 和 刻度 参数 的 无 偏 估计 。 至 于 位 置 
参数 与 刻度 参数 同时 估计 的 情况 , 可 参看 C191 85. 


($6 线性 模型 中 参数 无 偏 信 计 


一 、 和 矩阵 的 广义 逆 与 最 小 二 乘法 


在 线性 模型 的 研究 中 需要 一 些 矩 阵 的 广义 逆 的 基本 知识 ， 这 
ea 关于 这 方面 的 进一步 内 容 可 参看 O.R. 

3a0501 的 第 一 章 . 

设 4 蚌 一 mxn MER, 若 存 在 一 ^ nxm pi EE B, 使 
4B4= 4， 则 称 吾 为 4 的 一 个 广义 着 ， 常 以 4 表示 和 的 广义 
Xt. 显然 , 若 4 为 满 秩 方 阵 时 ,4 必 为 ARAA, ELA DURO 
个 广义 道 ， 因 此 , 广义 逆 可 看 成 是 对 通常 逆 和 矩阵 的 推广 。 ] X3 
有 如 下 一 些 性 质 : 假定 4 为 mxn MER. 

Gi) 对 任意 矩阵 4, A^ 总 是 存在 的 . 

证 设 4 的 秩 为 "x， 于 是 存在 满 秩 的 m 阶 和 ww 阶 方 隆 


e 107 。 





I, 0 
P Q, d AP] o O UP LdOR MARE iA- 


I, 0 
e LE 5 其 中 工 为 任意 的 (mn 一 ") x (m 一 7) 阶 阵 , 不 难 验 


证 有 44-4=4， 即 4 确 为 4 的 广义 逆 。 特别 取 上 =0 时 ， 有 
RA ) 一 RA)， 当 (Ww 一 7) (mm 一 7) 关 0 时 ,由 工 的 任意 人 性 知 ,4 具 
有 无 穷 多 个 广义 逆 ， 还 可 进一步 证 明 , 4 r<max{m, nh-Hj, 4 有 
无 穷 多 的 广义 道 . 

G) 4 为 4 的 广义 道 仿 对 任 一 相 容 方程 AX =Y, 4- 了 为 
其 解 . | 

证 “SHA AX=Y HAN, WAR Xo, t AXo=Y, 
于 是 ACA Y)=A4AAXo=4AX0=Y, Bl AY 为 解 . 

cr, Y — ACA 的 第 名 列 ), 则 方程 4 于 一 4A, 相 容 ， 因 4-4 
为 解 , 则 有 A444=4, 令 5 一 1,…, n, 从 而 有 

AA7A- AA (A1:: | An) m (Aa in: An) =A, 

(iii) 五 = 4-4 X ESS EE, H RCH) — race (H) — R(A), 

证 BUHH-AAAA-AA-H,WH ES. hE 
的 性 质 知 , RCH) = irace(H), X. pp H= A^ A, ik R(E) « RCA), 
但 另 一 方面 又 由 于 4=4H, We p 从 而 得 

R(H) - R(A), 
(v) 相 容 方程 AX Y 的 通 解 为 
=A-Y+(4-4A—1)2, .(6.1) 

其 中 4- 为 4 某 一 固定 的 广义 逆 ,2 为 任意 " 维 向 量 . 

证 容易 验证 (6.1) 确 为 方程 的 解 。 反之 ， 若 Xo REA, 
Ab A. 

Xo—A-AX$,4- (A A—I) (— X9) - AY --(A A— D) C— X9) 

HI25 (6.1) s T5 

(v) C 为 任 一 给 定 的 wm 维 回 量 ， 则 对 相 容 方程 4 人 = 了 的 任 
一 解 X, 使 CX iE—«€»C A A-C', X HAUT BINOS CT) 
示 转 置 . | 


e 1OB « 





证 h6 DRA, 0" X n£—eC' AY 4-O' (A-A- D nt—, 
Z 任意 eC'A-A-—C'. 
(vi) (AY Jg A' By" xot. 
证 BS ALAYA = (AA A)! =A, 
(vii) 对 44 Bt f£ —]7 x38 (A'4) -有 
(a) A'ACA' A) - A! =A, AC(AA)- AA! = A, 
(b) ACA' 4) - A' ERSEK ERER. 
WE (a) 因 为 | 
CA'ACA' A) - A' — A^) CA ACA' A) - A! — AY 
— A'A(A' 4) A'ACA' A) - AA — A'A CA! A) - AA 
— A'A(A'A)-4'A4- A A=, 
故 (a) 的 前 一 等 式 得 证 ,后 一 等 式 可 同样 证 明 . 
(b ALAA 的 塞 等 性 由 (a) 可 直接 验证 ， 为 证 其 不 变 
性 , 利用 线性 代数 中 一 个 事实 : B CA) 一 《4'4), 此 处 及 以 后 的 记 
号 (4) 表示 以 矩阵 4 的 列 向 量 张 成 的 线性 空间 ， 于 是 存在 
MO, 使 A =4'40, 从 而 AWAL =A ACATA AO= 
0'4'40， 这 证 明了 AMAA 的 值 与 (4'4)- 的 取 法 无 关 . 
下 面 转向 最 小 二 乘法 : 设 了 是 已 知 的 n% 维 向 量 , X 为 已 知 的 
n xp 阶 常数 矩阵 ， B 为 未 知 的 2 维 向 量 . 我 们 有 如 下 熟知 的 
结 : 
23 6. 1 pE EY -XBY -XB 的 值 达到 最 小 
的 充 要 条 件 是 ; Ê 满足 方程 
X'X8-X'Y, |». ' (6.2) 
此 方程 总 是 相 容 的 , B. 
—-(X'X)-X'Y (6.8) 
为 解 . 
以 后 我 们 称 方程 (6.2) 为 正规 方程 ,其 任 一 解 B 称 为 最 小 二 来 
解 ， 
”证 因为 (9 
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Zu - X8)'(Y - X 8)] 


-aglYY- -2Y'X8-8 X'X8]—2(X'XB— X'Y), 


令 其 =0, 便 推 得 正规 方程 (6.2). 这 证 明了 使 了 一 工 6) (Y — X B) 
达到 最 小 的 6 必然 满足 (6.2). 
KHN un CX'"Y) cu (X^) 2n X X) BC (6 DEMAR, XC 
根据 广义 逆 的 性 质 ( 这 ); (6.3) 为 (6.2) 的 解 . 
假定 6 是 (6.2) 的 任 一 解 , 6 为 任 一 p 维 向 量 . 注意 
(XB— X8) (Y - XÉ) - (8—8) (XYT—X' RB) —-0, 
从 而 有 
(Y—-xg8)"Qy-xg) | i 
—-(Y-Xf-xB-xg)y-XB-xB-XxpB) 
—-(Y-XxByy-xf --dB-g8yx'x(8—8)40 
>(Y -XV Y- X f) 
于 是 定理 得 证 . 
需要 注意 的 是 , 形 如 (6.3) 的 最 小 二 乘 解 , 未 必 构 成 最 小 二 条 
解 的 全 体 ,因由 广义 逆 的 性 质 (iv) 知 ,方程 (6.2) 的 解 的 全 体 为 ~ 
—(X'X) X'Y--((X'X) (XX)-1)2, (6.4) 
其 中 Z KEE p 维 向 量 ， 不 过 , 以 后 我 们 将 会 看 到 ,在 线性 模型 
中 , 只 考虑 形 如 (6.3) 的 最 小 二 乘 解 就 够 了 . 


. Gauss-Markov 模型 


考虑 线性 模型 
Y= tabt - *: ELp te (i=1, uS n) TE (6.5) 
RERA Y —XB-ee, 其 中 X — (2g) axe HEARRE, 称 为 设 
ip EY — (yu, e, y) 为 可 观察 的 随机 向 量 ,e 一 (et，…，en) 为 
随机 误差 向 量 ， 不 能 量 测 ， 而 B= r -, By 为 未 知 的 回归 R 
ZW. 
假设 随机 误差 向 量 。 服从 参数 为 (o”, 由 的 分 布局 (ac o»), 
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0<<o 过 oo, 并 满足 条 件 
| Le 
Eq» (0e) = 0y G, j=l, ---, n). 
则 称 此 时 的 线性 模型 (6.5) 为 Gauss-Markov 模型 .显然 ,在 此 模 
WF, 了 的 分 布依 赖 于 参数 (8, o7, p), Hi] 0o oo, BH p HE 
HE, o 是 一 般 抽象 参数 .由 (6.6) 立 得 
Essop (Y)— Xp; (6.7) 
Varg, sy (Y) =0° Is. (6.8) 
以 后 ,在 含义 明确 时 , (6.7)、(6.8) 式 左边 中 的 参数 (86, o7, p) 
略 而 不 写 . 值得 注意 的 是 ,在 上 述 模型 里 ,分 布 族 中 引 有 含意 明确 
的 向 量 参数 48, c?)， 又 含有 一 般 性 的 参数 w， 对 9 的 要 求 是 使 
(6.6) 式 成 立 ， 因 此 Gauss-Markov 模型 既 带 有 参数 性 质 , 又 带 有 
非 参 数 性 质 . ae 
设 C 为 某 一 p 维 向 量 , WREE n AE L, wY 的 线性 函 
数 LY 满足 | 


(6.6) 


EQLY)-C'8. (对 任意 B), (6.9) 
MPRA OB A GXET 46 65, L'Y 为 CB KRIE J miit. 
容易 验证 ，LY 为 CB R Em I JE AR E JE LX —C', 
事实 上 ,车 对 任意 B, A EQUY)—-LE(Y)-L'X8-C'B, v n iE 
i LX-C. RI,kWEAASAYX. | 
假定 CB 为 np SB, i. -—i(LLX-C HA 
LEY, tE 
| Var(LoY) =min Var(L'Y), (6.10) 
出 称 LY 为 O'R 的 最 优 线性 无 偏 估计 (The best linear unbiased 
estimate), 简 记 为 BLUE, 
Hi (6.8) R, RNE Var (L/Y) —a?L/L, 故人 6.10) 等 价 于 
LoLo= min I/L, (6.11) 
下 面 ， 我 们 来 讨论 0'8 线性 可 佑 的 充 要 条 件 以 及 求解 BLUE 
的 方法 . 
定理 6.2 设 C 是 一 个 2 HE], E Gauss-Markov 模型 里 ， 
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以 下 诸 条 件 等 价 : 

a) C'8npfs; Gi) C' 8 线性 可 估 ; ii) C e u(X" X) R(X^) - 
R(X':O) (ivy) 对 任 一 最 小 二 乘 解 6，C'B 是 唯一 的 ;，(V)0' 一 
C' (X' X) X' X; (vi)O'B 是 O'R 的 无 偏 估 计 , 其 中 及 为 任 一 最 小 
ZR. 

证 (D, BPE O'R 的 线性 无 偏 估计 一 三 ， 由 前 所 
R, E C -—LX,HDO-X'L,AWiOCu(X)-nu(X'X), 

(iii)=(iv). h Gii) afi O= XXD, #p D EHE, 
FJ] (6.4) 3S, AEE COE E RE (vii) rf a), (0) , 78 

O'É—-I'X'X(X'X)-X'Y4-DX'X(QX'X) X'X-DZ 
—DX'Y. 
np O'8 与 6 的 选择 无 关 . 

(iy) 仿 (V), 由 (6. 名 式 及 广义 道 的 性 质 (v) 即 得 . 

(VW) 坊 (Vi), 由 (iv) 知 0 唯一, 故 记 可取 (6. 3) 式 所 表达 的 最 
小 二 乘 解 , 又 根据 (v): 

EC'B -= E[C'(X'X)-X'Y] 
= B X X)-GOX X)(X'X) X'Y] 
—O (X'X)-(X'X)(X'X) X'X8 
—-C'(X'X)-X'X8-C'B. 

(vi) 坊 (i 让), 因为 (6.3) 式 为 了 的 线性 函数 ， 故 0 为 0B 的 
线性 无 偏 估计 . 

EKn, BRA GSG), MAURERS i, 就 完成 了 
整个 定理 的 证 明 ， 设 9(7) 为 C'B 的 无 偏 估 计 , 则 对 任意 的 B, 有 
Eoso Y) 一 0'B， 注 意 : 当 参 数 为 (8, 0, o), Y - X 8 的 分 
布 与 当 参 数 为 (0, aa, pg) 时 了 的 分 布 相同 ， 故 对 任意 的 使 X8-0 
HJ 8, 有 

C'B = Emesso (Y) = Ecos Qr XB) 
= Eoo (Y ) =00=0. 
BRE 4S CX)! cCA(Q0)!, Ai OCU, Qu)m ar. AE 
证 毕 . 
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此 定理 告诉 我 们 ，B 的 线性 函数 OB 的 可 估 性 与 线性 可 估 性 
是 等 价 的 ， 因 此 , 以 后 我 们 对 其 可 估 与 线性 可 估 不 加 区 别 . 定理 
中 所 列 C"8 可 估 的 诸 充 要 条 件 中 , 第 (iii) 条 是 最 常用 的 条 件 ， 当 
R(X^)-p, WV X'X 满 秩 时 ， 因 对 任意 的 p 维 向 量 0, 总 有 O 〇 GE 
p CX" X) , 故 由 (iii) 推 得 此 时 B 的 任意 线性 函数 均 是 可 估 的 , 特别 
是 , 若 B 的 每 一 分 量 可 估 ， 称 B 为 可 估 的 ,有 = CX X) 2X"Y HR 
的 唯一 的 线性 无 偏 估计 . 

当 OC'B 可 估 时 ，C'B 称 为 0B 的 景 小 二 条 估计 (least squares 
estimate), 简 记 为 LS 估计 , 其 中 6 为 正规 方程 X'X 8— X'Y 的 
任 一 解 ,特别 是 , 可 取 B= (X"X)- XY, 

定理 6.3 在 Guss-Markov 模型 里 , nj fh o X O' ig LS f) 
i C'B x O'8 的 唯一 的 BLUE, it D'B 是 另 一 可 估 线 性 函数 , 则 有 


cov (O'B, D'8) —C' (X'X)-Do?, (6.12) 
特别 是 , 当 R(X) =p 时 ,有 
Var(ĝ) = (X'X)^71g3. (6.13) 


证 因 0'B8 可 佑 ,那么 对 任 一 最 小 二 乘 解 6, 0'6 是 唯一 的 ， 
因此 以 下 证 明 中 可 取 B= (XX) X'Y, KEH 6.2. (v), 我 们 有 
O -C'(X'X) X X. (6.14) 
i LY E OB 的 任 一 线性 无 偏 估 计 , 则 有 O-LXx, FEH 
上 式 及 (6.14), 有 
(L/—O'(X'X) X»)X(X'X) O0 
—(LX-—QG'(X'X)-X'X)(X'X)Q 
—(0O'-05(X'X) C-—0, 
从 而 
Var(I/Y)-lI/Lo? 
= (L--X(X' X)-0O--X(X'X)-Oy 
x(GL—-X(X'X)-04-X(X! X)70)o* 
—(L—X(X'X)-0y (L-X(X'X)-0)o? 
-O'(X'X)-X'X(X'X)-Oo? 
z (C (X X)-X»(QQ'x)-0)e?- Var (Ê), 


e1413. 





这 就 证 明了 OÊ 的 线性 最 优 性 又 假定 Las Da, DY, DAY 为 
O'B 的 两 个 无 偏 售 计 , 4 Lo Lace Lo, WE LY 也 是 CAB 的 天 
BURN. DPOA BORA HORURL, DIL Lt IL), JU 
VarL/Y «1. (VaxIAY Ver AY) ,这 说 明 LY 与 LAY 不 可 能 同 


时 为 BLUE, 从 而 证 明了 BLUE 的 唯一 性 . 
由 (6.14), 我 们 有 
cov(O' B, D'A =cov (O (X'X)-X'Y, D(X'X) X Y) 
—Q'CX' X)- X' X (X' X)- Do? 
—Q' (X' X)- Do?, 

这 就 证 明了 (6.12) 式 ; (6.18) 式 是 (6.12) 的 直接 结果 ， 定 理 证 毕 . 
在 本 段 的 最 后 ,我们 指出 : 下 式 为 和 的 无 偏 信 计 : 
s= -XV Y - xfi 

—7 
-" -ir -X(X'IJ XYY Y -X (XX) EY 
T" 
qm-—7 

Hu r—RGX), 注意 , 由 广义 道 的 性 质 (vii O), ERS XÉ 

(X' X) -的 选择 无 关 . | 
证 ”由 广义 逆 的 性 质 (vii) Gii), 并 注意 Var (Y) -o^ I, 于 

是 有 | 

ES: I EIDY'G—- X(X' X)- X)Y] 


Y'L-Xx'Cx'20-X]r, (6.15) 


-—1. EY - Xe G- XQ'3)-X)  - X8) 
Ll. (race (I—X(X'X) X50? 
n— r 
1 


qm-—m2m 


-= m-R(X)]o’=0?, 





£— 





[n -irace( X CX' X) X^)]o? 
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E. Emp 

假定 在 线性 模型 (6.5) 中 ，e-- (es, …, en) 服从 正 态 分 布 
N (On, Lo?) 0<a 达 co。 则 称 其 为 正 态 线性 模型 。 此 时 ， 条 件 
(6.6) 仍然 成 立 , 故 正 态 线性 模型 是 Gauss-Markov 模型 的 特殊 情 
况 ， 从 而 上 面 得 出 的 关于 Gauss-Markov 的 一 切 结论 在 这 里 仍然 
成 立 ， 不 过 ,在 正 态 假 设 下 ,还 可 以 得 出 更 好 的 结果 来 。 

”在 正 态 假设 下 ,了 一 (ys, …, Y) 的 分 布 密度 为 
Ji, ^, ys B, o?) 


"(ox ee-uke-xeu-x9|l 








= Q(0)exp (TTF) ), (6.16) 


其 中 go= 一, 0,- B/o* Gl, -, p), 


2g" "' 











QO) = (75) exe(- o CX" QU) ), 


2 
7 了 ,一 对 :了 ,此 处 X, 表示 六 的 第 i 列 (6— 1, +, p). 可 见 , (6.16) 
为 一 指数 族 , 自然 参数 空间 O= (0o, 01,…, 0,) :00<0, — 998, 
co, i=1, …， p, 因 有 内 点 ,根据 定理 3.1. 了 一 (To, …, TAK 
全 充分 统计 量 ， 假 定 8 可 估 , 那么 其 LS 估计 
C'Ü-O'(X'X)-X'Y -Q'(X' X)- (Ta, -«, T,) 

是 下 的 函数 ， 从 而 由 广义 Blackwell-Rao-Lehmann-Scheffe 5 
理 , 有 以 下 结果 : 

定理 6.4 在 正 态 线性 模型 中 , 可 估 函 数 C8 的 LS 估计 CR 
为 其 唯一 的 UMVUE, | 

注 1 cmd 0 - XB'O -XAR fe T 
RR, CLARAE o? ff] UMVUE, o 

注 2 在 一 般 的 Gauss- Markov fi W H, BLUE R D H 
UMVUE， 请 看 证 例 ， 





例 6.1 Ur y—0--« (6-1, n). Wi bes, …, er Hid, 
随机 变量 ，e1~R( 一 9, 8), 0-0-—oo, 这 是 一 个 Gauss-Markov 
模型 。 此 处 设计 和 矩阵 X—1, 8B 一 09。 根据 定 理 6.2 的 Gii), 9 可 
fs, ELO B LS 估计 为 | . 

Â= x'x)x'Y-Qu)7ur-1l3-r, 
但 因 Y 1, o, Y, 为 id, 随机 变量 , Y ^ R(0, 20), 0<0<00, 由 前 


而 例 4.1 知 ,9 的 UMVUE XÂ, 75 (1-2 ue, XE us 


max (Yı, …， Ya). 可见, 当 niB, 不 是 6 的 UMVUE. 事实 
上 ,利用 (6.12) 式 , 可 算得 — 


Var (0) aes 


另 一 方面 ， 又 容易 算出 Var(6,) = 
Var, (Â) < Vara (ô), | 
不 过 , 由 于 BLUE, 即 LS 估计 求解 方便 , 在 实际 中 被 广泛 采 


0? 


用 . 
”四 、 广义 Gauss-Markov E | 
车 把 关于 Gauss-Markov "iid (6.6) 修改 为 
WE —gG. 
此 处 G 为 已 知 的 非 负 定 n 阶 和 矩阵， 满足 (6.6)' 的 模型 (6. E) so 
广义 Gauss-Markov 模型 ， 当 G 为 正定 时 ， 容 易 把 广义 Gauss- 
Markov 模型 变 为 Gauss-Markov 模型 来 研究 ， 事实 上 ， 作 线性 
P-air, P-G. do. 
我 们 便 得 到 新 的 线 仁 模 型 MEE 
Y= £a, Tu, tE (i=1, =, n) (6.57 
或 记 为 Y-X8ce, E 
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其 中 X- (2) GT 和 = (61, e, 5,)' 一 G30， 根据 (6.6)', 易 
推 得 ， E 
E -0, 
| Var(6) --o?I,. 
Bp (6.5) 为 Gauss-Markov 模型 ， 把 定理 6.2、 6.3.6.4 应 用 于 
模型 (6.5)', 然后 再 转换 回 到 原来 的 模型 , 便 可 得 到 如 下 结果 : 
当 广 义 Gauss-Markov 模型 里 的 误差 向 量 e 的 协 方差 阵 G 为 
正定 时 , WA: 
O O'B 可 售 的 充 要 条 件 是 CGU 
Qi) # C'8 可 估 , 则 C'B 为 其 BLUE, 其 中 
B= (X'G-1X) x«i Y; 
Qi) 3X C'8, DB 可 估 , 则 有 、 | 
cov(C'B, D'B) -C' (X'G-X)- Do*; 
av) Lr - xi'a-tar - XB e Ix, X 
Br-RGX | 
(v) 4 e 为 正 态 aO B ru M O'A M — 8 UM VUE. 
”但 是 , 当 G 为 奇异 时 , 情况 就 复杂 了 , 上 述 结果 都 要 作 适 当 的 
修正 ,关于 这 方面 的 论述 可 参看 [10]. | 





问题 与 习题 
1. ik X-B(, p), 0<p<1, 实 函 数 scs 的 充 要 条 件 是 gp) 
为 乡 的 ,有 (< 让 次 多 项 式 . TEN 
2. ib Xp 7, XQ H iid., Ky 9(1), 9A «oo, id erx, i] gA) 
FERF T EREK SEA HERE g 0) 为 一 收敛 级 数 
Za, 0-«A-«oo. 
3. ib Xy, X, HWE Noni tid REX, — oo «a 99, 0 «0 «oo. 
证 明 ga, e) — lal KTE, 
»117> 








4. 设 9(9) 为 在 某 分 布 族 (Po 9E8) 下 的 可 估 实 函数 ，9*(z) 为 其 
UMVUE， 则 对 9(9) 的 任 一 无 偏 估计 9(z)， 当 Vareg «o», OEO nj, 9* 与 
9 的 相关 系数 非 负 。 9 也 为 9(0) 的 UMVUE 的 充 要 条 件 是 : 9 与 9* 的 相关 
系数 为 1. 

5. 设 (P。 9E@) 为 样本 空间 (2，4。) 上 的 分 布 族 ，96= {3S(X)} 某 一 随 
MRK, 满足 条 件 : E 61、 SE 90o=34151 二 49252E 9», 其 中 a1, aa 是 任 工 实 
HC JX) IDRAR EB LAE 3€. E 29—(9—902-9:8€ 99. iX: 
Go E 9 ij 方差 一 致 最 小 9 对 任 一 Sc» 3 VarQS «oo, Wii eov, (go, S) 
z-0. 

6. ib Xi, e, Xn Jg iid, 随机 变量 ，XIi~N (a, m — oo «e, 
0«g «co, sk a/o’, ^p 的 UMVUBE, | 

7. 证 明 : 例 3.7 中 的 (有 cy 7) 为 完全 统计 量 ， 

8. WH: 8 分布 族 


f (2501, 02) 一 POSITUS g5i1(1— z)*71 


(0<r<1, 0«0, fax) 


为 完全 分 布 族 . 
9. 证 明 : mud 


fem ( 7  wa-p* euo, t sro TT. 
RAAR. 又 设 Xu …， X, IRAH KN iid, 样本 ， 证 明 TEX, 


为 完全 充分 统计 量 , HR g) ==p 的 UMVUE, 

10. 设 有 两 个 互相 独立 的 简单 样本 : Xi Xs Xi N (o, oA 
Yi, eu Y, 了 I~N(a, 20?) (一 <a<m, 00-99), 试 利用 联合 样本 
(Xi1，… XS Yo cn, YR ag UMVUR, 


H. &X-N(G, cn, 证 明 瑟 [9CX)] 一 中 -全 二)， 且 利用 此 事实 证 
Bj. Æ Xi, X. 为 抽 自 NO, 1) (~ «0 o) BG (B ERES, ,7 为 给 定 实 
X 
B, 则 G(r 一 0) 的 MARNE iim 1). | 
Ni 元 





12. 设 一 ><a<b<o%, hx) 079 3 X Qa b) EAST, 
o<f AET ELN 


对 任何 Lc, d] c (a, 5), 称 分 布 族 
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| KO, 05) h(x), 2 rE 03) 
fe, o 7) Em 1 0 ` xU 


84 -1 
为 双边 截断 型 学 布 族 , 这 里 KO, 05 =||[ nCw) dr | GE XQ X22) 


为 抽 自 此 分 布 族 的 简单 样本 。 GD 证 明 (XcoXco) 为 完全 充分 统计 量 ; (让 ) 求 
PAGG, X) € A|zoy, zo), 其 中 4 为 任 一 二 维 Borel 集 ; (Giit glOr 02) 为 
一 符 估 函数 ,给 出 它 具 有 依赖 于 Xi X 的 无 偏 估计 的 充 要 条 件 ; Gv) 24 (ii) 
中 的 充分 条 件 满足 时 , 求 9(0 92) 的 UMVUE, 

18. ik T:(£, Be P,, OEO)>CT, Br, P2, 0EQ) 为 — 统 计量 .假若 
^ fE ER Zr P WE ES XX p), HH "EdSG)-0, xp — 0c0"n[jdkiH 
“pC —0, a. s. P3 ,对 每 一 0OEG” 则 称 卫 为 有 界 完全 的 。 

13.1. 车 分 布 族 为 . 


0, M g=} prm 
P4X-2]- | (1—0)9*, 3 y—0, 1, 2, --- Mosen 
WH T(X)= 羡 是 有 界 完全 的 , 但 不 是 完全 的 。 并 证 此 分 布 族 不 存在 完 
全 充分 统计 量 . 
13.2. Æ (Xi, «5, Xy N(01,, In), 60, N) T(X)=(X, SHH 
界 完全 ， 其 中 1 表示 分 量 全 为 的 2 维 向 量 ， | 
13.3. 设 Xy, X, H dd, 随机 变量 . Xx, n(0- 3, 637), "p 
«o, T(X)- (Xis X dEH SER. 
若 把 分 布 改 为 R(9, 20), 9- 0 有 同样 结论 ， 
14. i T: (2 4,, P,, 0c 0) (5, Zr, P5, 0EGO) 为 一 统计 量 。 RES] 
AX — ac (0, 1), 有 
“ f PAPE) 2a, 0<) c1, GEO” 
B(GT) |t) a, a.s.P3, 0E”, 
则 了 工 是 有 界 完全 的 . 
^o 15. 设 T 为 如 上 题 定义 的 统计 量 有 界 完全 . 若 了 F(X) 是 一 分 布 与 参 
3&0 无 关 的 随机 变量 , 则 也 与 了 独立 (在 每 个 分 布 Pe 下 ,2E@)， 
16. 设 和 1，…) X, 为 id, 随机 变 E, X N(O, o?), 0<o<æ, WH 


" n n 


zXi 与 ZAXU/ Xi 独立 ， 这 里 Ais tt Àn 为 已 知 实 数 . | 

17. ik Xu c5 X, H iid, 随机 变量 ， X17 N (a, ai), T9096 00, 
0co1«9;Y;, -, Yn 也 为 tid. 随机 变量 ， Yi—N(b, 92), 一 ce «b «co, 
0<os<o 吕 。 此 二 样本 互相 独立 。 记 


(à «0; «0. <b) 








$ (Y, T» Y)? 


n—1315 








S=- (X-I), 人 = 


XQOu-X)G,-Y) 


fm 1 
NEE) $r- 
WEEK: r EG, Y, 心 x， SY) 独 立 . 
18. 设 有 分 布 族 
(ea, M3 rz-0 
esp mseg (eese) 
Xj, e, X4 为 dd, 样本 。 求 ezpWV6 log tj UMVUE, 
19. i& Xi, e, X, 为 éd, 随机 变量 , Xam NCO, 1), -o <h <o, R 
P,[max(X;, =, Xj) «v]- [6(v —0)]* H UMVUR, 
20. ik X4, e, X4, 为 iid. FEZX,. Xa R(0,, 05), — oo «01«05« oo, R 
0, 05 ij UMVUE, 
2l. (Xr Yi) s (X, Yn) Jy ud, 随机 向量， 
Ui] [Oi poi10; 
Mr vo^ (D) Em 03 ) 
—co-pi, ooo, 0-901, 02<™, —l«pxl, 
求 相 关系 数 p 的 UMV UE, | | 
28. iE Xj, X, 为 抽 自 工 型 截断 族 的 简单 样本 ， 求 分 布 函数 


0, 当 gx 
(550) =} K3(0) | hi Gd, 当 0<s<b 
e ] à 
1, 当 bes 


的 UMVUB， 其 中 为 已 知 数 ， | 

28. jk Xj «5 X, 为 抽 自 工 型 截断 族 的 简单 样本 .并 设 2 一 .9(9) 
是 一 待 估 函数 。 对 任 一 [ec d]c (a, œ), 9(9) 在 其 上 绝对 连续 。 对 于 充分 大 
的 4, g(8)3E(a, d) E itj UMVUE 95 d, CX), H E E R E ljala) GG) 
(a«z« oo), 3X Bl G 满足 条 件 :BeG(Xd) < ,对 一 切 的 gE (a, oo). 证明: 
lim ga(z) 存 在 ,<z< co, 记 其 极限 为 多 (2), 则 9 (X) JI 9 (016 (a, o0) 


上 的 UMVUE, 并 把 此 结果 推广 到 LI 型 截断 族 上 . 
24. 设 Xp o KaJ id, 随机 变量 .XL 具 有 转移 型 参数 族 密度 
f(z1 一 9)dm1y， ~ «0c, U(Xi, s Xn) 为 转移 型 统计 量 ， 若 BoU = 


.120* 








AR, WU -n 为 9 的 无 偏 估 计 . 

以 下 名 题 考虑 线性 模型 了 一 XB+e, Ee—0, Var(e) -o*G —o?(o4)nxs, 
Y=(y s Yn), RTy)nxp B=(B1,.…, Bp)’, e=(eis …，en) 并 记 
S-X'X. 

25. UE GI, x P'B "[h,ZzLoCu(X), HB P-X'L, W LY 为 
P'B tj LBUE, 

26. iE G—L,, L'Y J4 ELY) LBUEe? D'X=0 H, L'D-0, 

27. ik G—I, P'B jik, a'Y yj P'B 的 线性 无 偏 合计 Etc, nt{(aY— 
, P'B*/a*yxI—97) c. B 5s. 

28. B 7j— XS RB n Et RE, A E(e'Be) -o?tr(BG); XE e DESH, 
则 Var(e'Be) —26'tr((BG)»). 

(99. AJ PWATROURE, ER: B’ AB — 6?tr (8-14) Jy B AB t] c 48 d 
ib Em -scxY,0o»—(y-x8y(x- XB, 并 假定 S 满 秩 . 

| 30. ix T, ee Tx 为 单 参数 9 的 无 偏 估计 ,并 且 cov(Tu T) -os, j= 
l, e, K), RT ee T, 的 线性 组 合 组 成 的 9 的 无 偏 估计 ,使 其 方差 达到 最 


小 


X ou mot, (i j=l, s E. VERIS Camo E Ld n E) 
时 ， > CT; 为 0 的 最 优 线性 组 合 无 偏 估计 ， 并 求 其 
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第 三 章 C-R 型 不 等 式 


前 面 我 们 已 讨论 了 参数 的 一 致 最 小 方差 无 偏 估计 (UMVUEB). 
本 章 主要 讨论 分 布 族 满足 各 种 正则 条 件 下 的 无 偏 估计 方差 的 下 界 
以 及 达到 这 些 下 界 的 充 要 条 件 . 最 早 是 Cramér 和 Rao 分 别 在 
1945 和 1946 年 发 现 了 一 个 下 界 -、”“， 现 称 为 C-B SE A, (或 下 
72, Bü Bhattacharyya 于 1946 年 把 它 推广 为 更 精确 的 下 界 ”. 
这 些 下 界 仅 适 用 于 有 共同 支撑 (密度 函数 不 为 零 的 样本 点 区 域 与 
人 参数 无 关 ) 的 情况 .其 它 情 况 ,本 章 也 将 涉及 . 这些 不 等 式 在 人 参数 
估计 理论 中 起 着 很 重要 的 作用 ,因此 ,单独 用 一 革 来 叙述 . 

KARY, Z FERAS, 乡 一 {Po, 0E6} 表示 其 分 布 
族 , 令 是 (全, B) LR o 有限 测度 .我 们 假设 Pu, 记 


_ dP, 
fe, 077 


$1 单 参数 的 C-R 下 到 


—,. CR TR 


我 们 假设 分 布 族 多 满足 以 下 正则 条 什 ; 
i) 6@ 是 实 轴 瑟 中 的 开 区 间 ( 有 穷 或 无 穷 ); 


i) f(z, 90) 有 共同 支撑 ,对 一 切 a*E2，gEG@, D fo, 9) 存 


i) «cen, [5 f, Odu=0; 
9 
iv) 46€6 8,10) ^ E, | ^ 1gf(s, 6| 70, 





V) 对 每 个 固定 的 =E 2^, 7 f, 0) 是 日 上 的 连续 函数 


定理 1.1 如 果 分 布 族 乡 满 足 上 述 条 件 i)~iv)，g(9) 是 O 
上 可 合并 可 微 的 函数 ,了 (w) 满足 
vi) BolT (2)] ~g(0), 且 
[T (9), Odu 可 在 积分 号 下 求 导 . 
那么 ,下列 不 等 式 (0-R 不 等 式 ) 成 立 
Var{T}>— a Gy0€0). (1.D) 
| E, | -£ 10g f (s, 9) | 
若 分 布 族 还 满足 V), g(9) 不 恒 为 常数 ， 且 Var{T}<. W 
代 . 世 中 的 等 号 对 所 有 的 0 CO 成 立 的 充 要 条 件 是 : 2 为 指数 型 分 
布 族 , 即 存在 K € 2l, u(K)=0, 4i 
MrcK,0cOHN, | 
f(e0)-e()h(nere, AD) 
lb (8) 0, 由 (9) 在 日 上 可 微 ,上 (9) 严格 单调 ,h(%)>>0， 


证 记 2(2w，0)= 3 pef, 0), 4 Var, (T( X)] — oo gx, 


Vard(Z(X,0))—ooWBf, (CLI.1) BAR. 下 设 Vare{I CX) T < 
co, Var, (Z(X, 0) «oc, 根据 Schwarz 不 等 式 , 对 任意 随机 变 
量 了 ,车 0<Var( 了 )<o0, 就 有 


Varo{T} Vare {Y} > [cov{T, Y ]*. (1.8) 
因为 BAZ(X, 0) - |. f(e, Odp—0, 
VarAZ(X, )- E. {BIlogf(X, Ob, — 0.4) 
根据 条 件 vD, 有 


cov (T (X), Z(X, 0)}= BAT(X)Z(X, 0)} 
| Ta) f(e, Odu 
- i |T Gf e, 8)dn 
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=g (0). (1.5) 
BOY —ZCX, 05, BAH (1.5) A1..3), PALDA. 
下 面 证 定理 的 第 二 部 分 : 由 Schwarz 不 等 式 的 等 号 成 立 的 充 
要 条 件 可 知 , (1 .1) 式 中 等 号 成 立 的 充 要 条 件 为 ; FE o8). B(0) 
不 全 为 零 使 
alb) [T (Œ>) -9 十 B(O)G(p 0) «0, a.s.P,, (1.6) 
根据 条 件 ii), a. s. P, 5 5.8./ 等 价 . 而 g(9) 在 日 上 不 恒 为 常数 ， 
故 如 果 
a(8) +0, B(0) —0, T (2)—9(8), a. s. p, 
但 了 T(z) 与 9 525. 3X RI, 
tii a(8) —0, 8(8) €0-—Z(z, 0) =0,4.s.w， 这 与 假设 iv) 
矛盾 . 这 也 不 可 能 . 
由 此 推出 a(9) 关 0, 8(0) «0, Jani CL.6) X np 360 
Z(ve, 0) -a(8) [T (2) —g(80)], a.s.m, (1.7) 
或 者 说 ; (1.1) 式 中 等 号 成 立 的 充 要 条 件 为 : 存在 a (0) 40 & NE 
Ba, LCN.) 二 0, 使 当 zENWNo.0E6 时 , (1.7) 式 成 立 . 
现在 利用 上 述 结论 来 证 明定 理 的 第 二 部 分 : 
充分 人 性: 设 (1.2) 式 成 立 , AA 6(8) —0. h (2) 05 (1.2) 5X 
两 边 取 对 数 , 即 得 
log f(x, 8) —log h(s) 4-logc(0) LEOTE) 
(4 zc K, 0c6). (1.8) 
由 条 件 dH) 及 有 关 (9). —— 得 


Z(a, 8) - i g 10800) +p OT (a) 


dne 0c 6). (1.9) 


因为 (8) 50, CL T) SNL, 充分 性 得 证 . 
必要 性 : 设 寺 .已 式 等 号 成 立 , 那么 (1.2) 式 成 立 . 根据 (4.1) 
式 等 号 成 立 推 得 存在 2(0) 70, p EWR Ye 23 vc Ne OCO k, 
Zæ, 0)=a(0) {LT (v2) - (057. (1.10) 
H fv, 9) 为 A, x Bo 可 测 推 得 Z(m, 0) 关于 x Bo 可 测 . 
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此 处 Zo 为 @ 上 的 所 有 Borel RAR oR, e 
N — ((s, 0): (a, 6) €2x 6, 
Z (v, 0) ka (8) (T (Œ) —9(8)5, (1.11) 
Ne 是 六 在 0 处 截 口 ， 由 于 9(9) RENAR BRIT V, cnp o 
Oa, fH gC) g0) Ag). 对 代 .10) 分 别 在 两 边 取 数学 期 户 
Eate} Eate}, 即 得 
a(8) "BEC OLEK, (1.12) 
由 于 Ge, 0)35 A, x Bo 可 测 ， 故 Bs{Z (XY, 0) G= 2) 为 dfe 
可 测 , 从 而 (9) 为 Bo 可 测 ， 由 此 推出 W 为 ux Be 可 测 . 根据 
Fibini 定理 , 得 | 
0— [n Qv )dL- | dn (Ix, WaL= [Ldn (1.13) 


此 处 N* EON fico ARDEN, LEA Lebesgue WE, (1.13) 式 
XUMXEKCA,n(K)-0, di x E K M, LN) -0， 因 此 
(1.10) 可 改写 为 | 
Z(z,8)-a(8)(T(z) -g(0)) QsEK, ON), (1.14) 
由 于 ORENK A REX 2s m EIC, TT (3) +T (na), i 
Go 0) - (2, 8) -a(8) (T (n) -T (m5)) 
(3 8E N*U N®). — 0 (4.18) 
由 假设 v 推 得 c(9) 在 任何 有 限 区 间 上 可 积 ， 再 由 (人 4.14) 及 9 可 微 
推 得 o(6)9(9) 在 任何 用 限 区 间 上 可 积 、 取 定 boE@, 记 
fla, G0) =h(2), 3 
pC0) - [^ acdt, Yoge(&) = — | ats (a: 
由 于 Zo, DEFO 3k IRA (1-15) (1.14) 0 (0) e£) RT 
因 a (1) 90, Mob CO) PERROS 00) 0 是 显然 的 ， 由 (419 有 . 
log f (v, 9) -logh(s)--W(0)T (z)--logge(0) QS ec K). 
| (1.16) 
由 (1.16) 立 即 推 得 (1.2)， 
至此, 定理 全 部 证 完 . 
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请 读者 注意 : 有 关 eO), PO) h (0). 的 性 质 不 必 作为 充分 条 
件 , 它 可 由 假设 条 件 推出 ， 定 理工 工 表明 : 在 正则 条 件 下 , 除 指数 
族 分 布 外 , 都 不 能 处 处 达到 O-R 下 界 、 即 使 指数 族 分 布 , 也 只 有 
很 特殊 一 类 g(0) 才 有 处 处 达到 下 界 的 无 偏 佑 计 . 

推论 1.1 在 满足 定理 条 件 的 指数 型 分 布 族 中 , BD: 


O= —«Q/0)1? LB -aEATQU)-8 (1.17) 


.时 , 才 有 处 处 达到 O-R 下 界 的 无 偏 估计 g (2) oT (o) 4-8. 
证 ”由 指数 族 的 人 性质 可 知 


-1 € '(0). 
ET QC) = - (17 202. 


Var (I (X) = (0 (0)) 2E (2 (X, 0)) = (/(0)) ? 100). 
而 





g (8) —« T EGG) 
= fræ] PTX) - £C Po J} 

| —a('(0)) E (Z*(X, 09)) -a(Qp (0)) "1(0). 
故 {g (OPIO) =a Cp (90)) ?I(8) = Var (9 CX)). 
由 此 , 充分 性 得 证 . 

必要 性 ， 由 定理 1.1 的 证 明 过 程 可 知道 ， 丰 在 a(8) #0, 
K € 2, L(K) =0, fi 

Z (s, 8) -a(0) [ («) — g (01 (aea E9). 
c' (0) 

c(0) 











而 此 时 
从 而 PON 
g(x) = POLON +g(0) +a COTE). (1.18) 
由 于 T (2) 是 非 退 化 的 ， 9 (2) 5j 0 无 关 , 推 得 
六 (0)a (9) =a = YE At; | 

4:1 (8)01(9)c' (0) À-g (8) - 8B— TE 2e (1.19) 

Bi (1.18). (1.19) 3E f , 

g (2) =aT (x) +B. 
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利用 (1.1) 还 可 给 出 一 个 有 偏 估 计 的 均 方 误差 的 下 淖 ， 

推论 1.2 假设 分 布 族 儿 满足 正则 条 件 让 ~iv), g(0) 在 9 
上 可 第 ,了 T(z) 是 g(9) 的 估计 ,而 且 潢 足 假设 vi) ,那么 

Boif(X)—g(0)} >0°(0)+ (9g (8) 4-6 (8) )*17 0), (1.20) 

AP 5(8)—9(8) —ETCX)). 

证 利用 (1.1) 式 即 可 推 得 . 

应 当 指出 : 如 正则 条 件 v) 不 成 立 , 则 (1.2) 式 仅 是 (1.1) 式 等 
号 成 立 的 充分 条 件 , 而 非 必 要 条 件 . 

5j 1.1(Joshi)" W 0<a<i, 8 为 


B RE iu 
| (i8 —1)6 *dt—0 


的 根 ， 记 A(z)=1a,e(|z|)+1. 
考 上 在 密度 函数 





f(e, 0) =f (8—8) =eA(|z—0|)e 
其 中 oo Ec 2| esa 
HL f 关于 原点 对 称 , 故 2 是 9 的 无 偏 估计 . 
ZG, 0) — o logf(, )-—0 Quas Oxo, 0x8). 


(4 0co- nm, 


EX -0) -c [^ oA(lel)e  da-1- EZ, 0) 
-I*(9). E 
这 说 明 0-R 不 等 式 的 等 号 成 立 ， 但 fo, 0) 不 是 指数 型 分 布 族 ， 
因为 Z(e, 0) d 0 的 连续 函数 . 


二 、 有 效率 


对 于 正则 条 件 下 的 分 布 族 , 因为 有 0-R 下 界 ， 人 们 就 用 它 建 
立 一 个 衡量 无 偏 估计 好 坏 的 标准 ， 提 出 有 效率 的 概念 。 设 yg(9) 
存在 无 偏 估计 ,9 是 9g(0) 一 个 无 偏 估 计 , 我 们 称 
(g (8) )?17* (8) / Var«(g) 
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为 估计 jw 的 有 效率 ， 如 果 它 等 于 I， 则 称 9 为 gC(9) p xd 
计 . 

这 种 有 效率 的 定义 是 值得 商 榨 的 ， 一 些 满足 正则 条 件 的 分 布 
族 , 可 估 函 数 9(b) 的 所 有 无 偏 估计 的 方差 有 它 本 身 的 下 界 , 例如 
UMVUB， 但 它 的 效率 不 常 为 I， 这 就 不 合理 了 . 

例 1.2 ri, ta, e, En JI nT iid, 随机 变量 , AA Poisson 
PRPA. RREI =, 众所周知 2 e Ph) 而 


且 是 入 的 完全 充分 统计 量 ， 现 取 9(A) 的 无 偏 估计 
、 1 
85 -(1-z) 
TRH ZH e79 (067 1), dI" Y, B-R-L-8 RIA, f. J& gO) B 


UMVUE, 但 O-R 下 界 不 难 算得 为 二 e-ax E JP Var, Ga) 这 
说 明 O-R 下 界 根本 达 不 到 . | 


三 、 非 共同 支撑 情况 


因 无 偏 估计 方差 的 C-R 下 界 仅 适 用 于 共同 支撑 的 分 布 族 情 
UL, 下面 介绍 几 个 无 偏 估计 方差 的 下 界 : 

i) Kiefer FA 4 Q,— (h:0--A COT, M Aa Æ Qs ERE 
意 两 个 概率 测度 


E.) -| Ad. (i=1, 2). (1.21) 


E T (238 g (0) eiit, M 
[E (g(8 -h)) — Es (g(0--h) )]? 
VATI (Xj Spo oomen 33. 
ar, (T (X)) "| | f (v, 0 +h) GN — Aa) | | 

f(2:89)50-J Qc 
xf (s, Dap 
(1.22) 
利用 Schwatz 不 等 式 即 可 证 明 . 
ER AJ h-0 的 退化 分 布 , 则 (1.23) 式 成 为 
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[E(g(8—-A)) -g())? — 
JG, + 内 da 一 Fw 0)] | 


Vars (T' (XY) "sup f 
x f^ (v, Odu 


f(2,0)»50 n 


| (1.28) 
i) Ohapman 和 Robbin FR®®, dg (1.28) APH M 为 
在 hh 的 退化 分 布 , 即 得 


(g(84-h) —g(0))? ; 
Va COSR BIX, BF, WI 6720 


令 h0, 即 得 到 C-R 不 等 式 . 
确 有 估计 可 达到 (1.23) 式 的 下 界 ( 见 习题 ). 


$2 Fisher 信 息 FAESA 


如 果 分 布 族 乡 一 (Ps, 0€0) 满足 本 章 $ 工 中 的 正则 条 件 2x 
iii), 则 称 


10) -E(f f, 0) OEO) 


为 分 布 族 乡 的 Fisher 信息 函数 。 有 时 更 明确 地 记 为 I* (9). O-R 
下 界 仅仅 通过 1(0) 来 表达 ， 从 它 的 定义 可 看 出 , 它 是 描述 密度 省 


数 随 9 变化 (由 Lm 表达 ) 的 情况 。 在 某 种 情况 下 , 表达 了 分 布 函 


数 所 含 参数 0 SE. 首先 为 Fisher 所 提出 ， 故 称 为 Fisher 
信息 函数 ， 下 面 我 们 来 探讨 一 下 它 的 性 质 和 作用 : 

L I(0)»0, 且 与 的 选取 无 关 ， 也 就 是 说 , 1(9) 确 是 分 布 
族 本 身 的 属性 . 

设 另 有 cc 有限 测度 ji 使 得 Puo 由 正则 条 件 i) 知 P=, 
从 而 up, id 





^ du 
h kis rem 
(2) du. 
dP, _ dP, , du 
fis, 0) du, x dy dp =f(%, 9)h(2), G8. 
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f. fale, 0) dm=1. 
此 处 Z= (2:h(2) >0}, 可 视 为 样本 空间 ,显然 
六 log fi(%, 8) T logf(z, 0) (5 0E0, 2€ 2). 


因此 从 I(9) 定 义 得 出 它 与 1 的 选取 无 关 . 
zog XQY 独立 , 它们 的 分 布 族 皆 满足 正则 条 件 切 ~ii), 骨 
(s, 乡 的 分 布 族 同样 满足 正则 条 件 1 iir ,而且 


I*(8) -- I"(8) se) (0€ 06), (2.1) 
RIE Xi, Xs, … 为 did. 随机 序列 ,那么 
1o». (9)—nI(8) GEO), (2.2) 


证 根据 1°, 不 妨 设 也 .了 了 的 分 布 P3 Pi CHORI eH 
EE BARES f (o, 0).g(y, 0). ii à — pA xp 


Z*(z, 0) d, logf (s, 0s 


Z” (y, 0) 7 log g(e, 0). 
M res -f(z,0)9(y, 0)， 显 然 满 足 正则 条 件 让 ~i)， 相 应 
的 Z^" (o, y 0) 有 m 
故 Z*"(z, 4,0) -Z*(z, 0)--Z*(y, 0) (0€0). 


I*"(8) = E,[Z*(X, 0) -ZY(Y, 0)? 
= EZ (X, O) +E (Z Y, 0)) - I*(0) - I"(0), 

利用 (2.1) 及 归纳 法 即 得 (2.2) 式 . 

35 车 随机 变量 X XEStipET(XOBRIZA: ERKI EDU 
足 正则 条 件 让 ~iii) HWE 

ii) 对 任意 与 9 EAK BEZ, HH 

jpl,f e Odu-| 页 Jo du ee (2.3) 

XHEX ACA, 0X) ut k | 


h IG, 0a | se, Das" OEO, 2.4 
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此 处 f(e, 8) = 


在 上 述 条 件 下 就 有 
I*(8) «I*(0). (2.5) 

d Xt— 2p, 正则 条 件 v) XI f (m, 0).g(t, 0) jk sr, WW] 15 (8) — I7 (0) 
对 一 切 0 c6 成 立 的 充 要 条 件 为 ，T (2) 是 充分 统计 量 . 

证 从 直观 上 看 , 结论 是 显然 的 ,于 比 T(w) 更 多 提供 9 的 信 
E. 如 果 相 等 , 那 上 只 有 了 (ww) 是 充分 统计 量 。 这 也 是 充分 统计 量 的 
真正 含意 所 在 .现在 给 以 严格 的 数学 证 明 ， 

不 失 一 般 性 ， I*(8) «oo, id 

Zt(s, 0) = -2 z log f(e, 0), Z'(t, 8) - 7 z log gQ, 8), 
由 假设 ii), de 0 无 关 的 B € Zi, 有 

jus Z'(T(z), OdP, = | Z"(t, OaP? 





“, gQ, 0)= 


-| ,部 gG, 0)dp” = -5 PIB) =- g «T7 0» 
Ó 
-5| maa 0 id o 28 7 € dics 


A | ,27(%, )dP,, 2.6) 
本 


根据 (2.6) 式 即 说 明 | 
Z'(T(z),0)—-E(Z*(s, 0)|T(z)), a.s.P, (2.7) 


O«E,[Z" (T (z), 8) — Z* (us, 8)]* | 
—E,IZ* (T, 6)]3 — EL[ZX(e, 0)]3 —13(80) — 1T (0), (2.8) 
由 《2.8) 知 , 3? 的 第 一 部 分 已 得 证 ,下 面 证 第 二 部 分 : 
由 (2.8) 知 
IX(0)—1"'(0)&ZX(s, 0) =27(T (z), 0), a.s.P,, 
必要 性 ， 记 
N —((z, 0), Z* (e, 0) &Z' (T (2), D}, 
象 证 明定 理 荆 - 工 一 样 , 用 下 nubini 定理 及 
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Z*(z, 0) —ZT(T(zo), 0), a.s. P, 
An, 存在 风 零 测 集 玉 ， 当 zxE 羽 时 , 存在 Lebesgue 零 测 集 N", 使 
Z*(sz, 0 一 GT oO 0 ( 当 zE 开 OOENz). (2.9) 
但 根据 正则 条 件 v，(2.9) ARAURA TO 连续， 所 以 WN" 为 空 
集 . 任 取 OEO, ia Lg (T (2), 60)] Jf (o, bo) 一 h(w)， 对 (2.9) 两 
边 积分 后 , 再 取 反 对 数 即 得 | 
f(e, 0)—g(T (s), Dh) Q&ecK,0€6). (2.10) 
ER Jt, T («) J& 0 的 充分 统计 量 . 
充分 性 ， 设 了 是 9 的 充分 统计 量 , 则 对 每 个 060, 存在 Naie， 
p UN.) - 0, RAAKA g TE), 0), hE), 
flw, =g Tæ), Oha) QMsENi) (2.11) 
因此 , 存在 Zr RE WU ROCCO). 及 wr RMR N, 使 得 
gt, D= 6t (Át € NS. (2.12) 
HENE ii) 知 g(t, >00, 故 L@)>0 CENI). DL (2.12) 
f&A (2.11), Bp 8 
f(e, 0) -gCT (o), OET (a)) h (v) 
Quac NoU TND). — (2.18) 
应 用 与 证 明 本 章 定 理 1.1 相似 的 办 法 ， 利 用 Fubini 定理 以 及 
f (2,0) .g(t, 0) X-P 0 连续 , WEE HEWES 0 53) K , %4 
ecK,0c0 nm, f 
fiz, 8) -g(T (2), 0) (T (hla). (2.14) 
对 (2.14) 两 边关 于 0 取 微 分 ， 即 得 Z*(e, 6)—ZT(T (a), 0) ( 当 
zcK), Bib 1*(8)-1"(0) (4 0cO), 至 此 定理 证 完 . 

应 当 指 出 ， 车 正则 条 件 v 不 成 立时 , 即使 27 (8) 一 ZE(O) 对 一 
HoR, 但 T(z) 也 不 一 定 是 9 的 充分 统计 量 ， 在 本 章 例 1.1 
中 , 如果 独立 取样 Xa, Xa, e, Xa, 16999099 (8) =nI (0) =n, 
HA 1.1 满足 O-R 不 等 式 成 立 的 条 件 , Mem O4 ud t JR, d 
有 下 式 成 立 . 

IX(00)z(E(X—9))7—mn-—lI*.7»(g) (348C€0) . 

由 (2.5) 式 知 I*(0) «Ie 7 ^(8), E IX (8) - I" (8), 48 X 
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并 不 是 9 的 充分 统计 量 。 


S3 单 参数 的 Bhattacharyya 下界 


Bhattacharyya 在 1946 年 在 更 强 的 正则 条 件 下 推广 了 O-R 
下 界 , 得 到 了 一 系列 愈 来 愈 大 的 无 偏 估 计 方差 的 下 界 . 从 直观 上 看 ， 
仅 用 log f (c, 分 关于 0 的 偏 微分 来 描述 jw 0) B 0 的 变化 情况 是 
不 够 的 , 如 果 用 各 阶 偏 导 数 来 刻 划 , 显然 精确 多 了 . Bhattacharyya 
正 是 从 这 点 出 发 改进 了 O-R FR, 而 得 到 了 一 串 Bhattacharyya 
不 等 式 (简称 Bh TEA). 


一 、 Bh 不 等 式 


正则 条 件 
i) 8 是 及 上 的 开 区 间 ( 有 穷 或 无 穷 ); 


i) fe, 及 >0( 当 osE2.9E6)，- f, OPERAR 
(4—1, 2, =, k0 EO); 
iii*) e fæ, 0)du-0 (i=1, 2, =, E 


iv”) Ic Pf, DY S- 1(æ, Pdu co (0 €; i=1, 2, E); 
v') FEE 9(9) 的 无 偏 估计 ,9(9) k CRT, 以 及 
ORO E ROO a OOO 


(1<i<h; 0EG; g(0) THO EO. 
在 介绍 定理 之 前 , 先 叙述 一 条 简单 引 理 . 
5313.1 dt X JémHEBEELIIER, WELERZ 25 PEV ARCX) 
>0, dt V AR(X) —0 的 充 要 条 件 为 : 3lo ER” H 180, 使 得 
Var(X) —0, 











A 


证 显然 ,从 略 . 





33.1 设 分 布 族 P- (^, 066) 的 密度 Tefo, 0) 
满足 正则 条 件 D) v). ME 
v(6) - (E (GG, 00) Br fo, D-r e 0)))>0 


ü (34 6€6). (3.1) 
i Vart (X) >D (VADO) (BIEO). (3.2) 
(2 EgO) Y 

DO) = (85, ., 932. ). (8.8) 
证 记 | 
Za 6) (f G, 62-2. Z fe, 0) (i=, 2, =, E). 
(8.4) 
Z (v, 09) — (Zils, 0), e, Zil, 0))*. (3.5) 


由 正则 条 件 iii*) v^) Al EZ (e, 0) 0, VAR, (Z (s, 60)) —V (80) 
4B, cov(g, Z2 2 D(8). Bibl3ze V (0) 7-0 时 ,我 们 有 


4X (VAR(g) DON 
«ran (A )-[ DO) re) 
o«( 1 db diis M D* (8) ) 
0 I, D) VO) 


( 1 d 
-V-^7(0)D(80) I, 


"u 0 0 ) ET 
0 VO) 
Var (9) >D (AVIADO QM8CcO). (3.7) 


定理 8.2 在 定理 3.1 的 条 件 下 ，(3.2) SE ILES GER AE 
为 . 存在 c(0) € R*, H el) 0, fi | 
-Gæ —-c* (0)Z(s, 0) --g(0), a.s. Po, (3.8) 
o(8 
证 根据 引 理 3.1 知 , (3.2) 等 号 成 立信 31(6) 一 d "a 
使 
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Var [Ng +ECO Z (v, 89)] —0, (8.9) 
此 时 必 有 1608) x0, 否则 , Var[I(00Z (z, 0)1 50, 3x V (8) >0 
HUBER. 故 存 在 c(0) 到 0, 使 





j—c (Ze, 0)--g(8), a.s.P,. (3.10) 
反之 ,显然 . 
定理 3.3 在 定理 3.1 的 条 件 成 立 下 , Bh PEAN TA ER b 
增 大 而 非 降 . 
证 令 
(22 Or-1g 2g y Dy i(8) 
DIU) SN Le E -( Og ) 
QD o6 OU* ph 
‘Vn (0) Vias(8) 
‘yA 
MON gpl 


此 处 Vas (5) 98 (5—0) x (6121 B 
V (8) (=o ~ e A) V (6) 


0 0 
Viu (8) : Via (8) 
TUM i 的 (00 Va(OVii(8)Vis D 
-(。 Je? (8.11) 
0 Va()-Va(OVu(Vua(8)] ^ — 
VRO 0 
从 而 ves T) 


Di(0)V-(0)D,(8) 2 D£.1(0)V31(8) D,-4(800..— (3.12) 
从 而 定理 得 证 . HTF k=l Rt, Bh FARE O-R TI, 故 从 定理 
3.8 得 出 ; Bh 的 下 界 比 0-R 下 界 精确 . 
zEXBS.4(Fend)? 设 乡 是 如 下 的 指数 族 : 
E "m f(z, 8) =h (a) ew (GEA) : (3.18) 
© 是 开 区 间 ， 册 (0)、ys《0) 在 8 上 有 有 限 上 阶 导 数 ， 且 业 (0) 5*0 
( 当 0E€6@)， 如 果 g(0) 可 估 , WEER v). 由 (3. 了 ) 式 所 定 
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XS V (8) >0, 那么 9(9) 的 无 偏 估 计 9(c) 36 0 46 35 8] b Bp Bh 
下 界 而 达 不 到 类 一 工 阶 下 界 的 充 要 条 件 是 : 9 (o) te) k 阶 多 项 
A (a.s. Pa). 
证 CR 容易 计算 出 
Zæ, 0) - Cf (e, 0) ^ sr Ar f (e, 0) 
— ba (Ot) + bat? (2) 4- ba (B)t*(&) --a(8) , (3.14) 
JB ba = (1(0)*0 (1,2, --, E). id 


b (8) 0 Tm 0 
BIO) b 0 9] 
ba) te sebo (05 
im) 
T (x) = P, 
(y) 


a1 (0) | 
a(0)-| : |. 
un 
根据 定理 3.2", g(0) 的 无 偏 估计 在 9 处 其 方差 达到 Bh E TA 
MARA b—1 阶 , 必 和 在 在 e Tan 5, 04(8)]7, ME c5 (0) 
+0 使 得 
g (s) —g(0) —-c* (8) (æ, 9) 
一 C OBOTO Oa), æ. S. Pa. 
(3.15) 
注意 到 cx(6) A0, berib) E0, ifi (3.15) AN to 的 系数 刚好 是 
€ 9) Drx (8). 故 必 要 性 得 证 . | 
充分 性 : 由 (3.14) 式 知 
T (2) =B (6) (Z (s, 0) — -a(0)), 


9) 3E E Wit (3.19) 8] f (25 6) IBUGIE UAR H i) ~iv*)。 
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而 B(0) 为 下 三 角 阵 , 其 逆 阵 了 (9) 也 是 下 三 角 阵 , 其 第 个 对 角 线 
上 的 元 素 刚好 是 0:2 (9), 如 果 g (v) J& t(2) 88 b 阶 多 项 式 ， 即 可 表 
为 0"T 了 (sm) 十 e。 此 处 4= (di,…, dy)*(dy-0).. i 

9 (s) =d" B (6) (Z(%, 8) —a(8)) +e 
=V F(Z (æ, 0)--e—d"F(0)a(0), a.s.P,, . (3.16) 
而 且 Zele, O) 的 系数 d Fu (8) 关 0， 根 据 定 理 3.3 知 9(z) 在 0 处 
(V (8) >0) 达 到 Bh 的 五 阶 下 界 ,而 达 不 到 不 一 工 阶 下 界 . 
例 3.1 t Xi Xa, Xn nA eid. WIERE, 2: N(0, 
1),—9oe«0-«oo, Hi — 33x (4.21) 可 算出 0^ ifj UMVUE Jy 


eG) -(- 7) Hl n2, 

这 里 Hre) = (7 1)69 0 e T 
RkWEs mx-x(o 二 ) 属 于 指数 族 ， 以 后 将 证 明 
V (6) 0,0 € R^, i O ISJEAR TE ps (2) 388] Bh i E BER, fE 
ARA E-L PF. 

读者 不 难 验证 ， 例 1.3 中 的 ex 的 UMVUB 达 不 到 任何 
阶 Bh 下 界 。 是 否 能 通过 oo 而 能 达到 时 ?这 将 是 下 面 要 讨论 
的 问题 . 


=Z. Vim) 为 对 角 阵 的 指数 族 
下 面 我 们 考虑 标准 的 单 参数 指数 族 


d -f(s,8)-49*9 (GEO, 6 为 开 区 间 )， 


W m(8)-E,G(X)), M-(m(0)::0€80), — 

3: 3.2 在 上 述 标准 指数 族 中 ，0 与 m(0) 在 @ 上 一 一 对 
B, H mO BRL BC (m) te M BL EE — mo 的 某 个 邻 域 六 。 内 
可 展 为 Taylor 级 数 . | 

证 ”由 第 一 章 所 给 出 的 指数 族 的 性 质 知 
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m0) =E, m (0) = Varlt(X))>0 ( 当 9E6). 
(8.1) 


lt m (1 B. 6 一 一 对 应 ， 存 在 反 函 数 0(m), m€ M, 对 任 一 
0, CO, Tee AB V o CO, *4 0--h € Vo, B3, 7H 


erem | g(9» 9t G2 dt. < | e Mt) HOt) pp 
z i iF) «0 


+Í POLOLO, i 
t(2)>0 
-5 IAL g, (x) |*oo 
z0 4! m " 
故 
-ya xà (0-09)! i s Q 
e exe ced (X)) Q8 9cV,). (3.18) 
因此 适当 缩小 邻 域 Vo。, 可 使 | 
YO) =$ a (0 —69* G6 CVs). (8.19) 


BOO POSO Sis (0-0). OEV), 


由 于 a1 m/ (89 7-0, 根据 震级 数 反 演 定理 ， 存在 办 (go) =m EM 
MU A, V c M, Bd 0(m) 可 展 为 如 下 级 数 :. 


0 (m) -5 De 一 mo)t (AME Vm), (3.20) 


其 中 ber 0O (mo). HIME, 
根据 引 理 8.2, RAHNA 9 作为 参数 ,以 下 记 
J (s, m) —f(z, Om)) -exp(8 (m)t(z) +4 Om))} 
(mE M); 
Ze, m) e (Fæ, m))* -Z Fle, m) G1 2, =) 
Vi, (m) = En (Z: (r, m) Z,(o, m)) (à, j-1, 2, e); 
Vim) —VAR1Z (s, m)} 
"m VAR(ZiG, m), "AQ, T) j * (k=1, 2, "e. 
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Vi (m) Sg (sz, m), mc MY] k- By Fisher 信息 阵 . 
定理 3.5 在 上 述 假设 和 记号 下 , 任意 kkr Fisher [fi S EE 
是 对 角 阵 的 充 要 条 件 是 
0' (m) = [Am +B+0] 17-0 (4 mc M), (3.21) 
其 中 4、B.C 是 常数 . 
证 由 引 理 3.2 知 , Gm) 可 在 任意 moE M 的 一 个 令 域 内 展 
为 Taylor 级 数 ; 出 (0) 可 展 为 (3.19) 式 级 数 . BRL, b (0 0m) ) TE me 
的 某 邻 域内 展 为 Taylor 级 数 , 再 加 上 e* 的 性 质 , 就 存在 S> 
z 无 关 ), 当 |h| «c5 Bf, 
Cf (e, mo)) 1 Q (e, moth) —f (z, mo)) 
= 3 Z,(s, m) t, (3.22) 
WAR Z, m)， 再 求 数学 期 望 ， 利 用 En X, m)) -0 及 
(8.22) 的 级 数 绝对 收敛 性 , 就 有 (| 有 | <6) 
3 Valm) 4 
= ES (Z, (X, mo) (X, mth) (F(X, mo) 
= exp( (0 (mo-- À)) —(8(mo)) 3 
X Em LZi(£, mo)expi (0 (moth) —0(mo)) £CX)). 
| (3.28) 
id u-8(meg-h)—0(mo). PB S 50x naegr Sg TRE, M 
Eml (X, mo)exp(0 (moth) —0 (mo)t(X))] 
- 4. 7 f(e, m) € dh | mem, - Efe mje"! dh | mame 


l 
ad sts Ta es 
dm n 


== 


IIRA (3.23) A, m4 
> Vy (mo) Ls 





[i 
— poU GmnotR)— On) d (e —w(6(m»-t 
= gm. y (8 (m) doy ev (my -vOn)-tu) Side (3 : 24) 


必要 性 ， 设 Vu(m)-94Vu (m), 此 处 
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ue [7 M bl. 


0, 34 Esel, 
W 1-1, 《3.24) 式 就 成 为 


V; (mo) h = gente m) 


-£ exp (i (OCm)) — b (8 (m) +0} | meme 


— gm *h)- v GG [4 ( (m) ) 9 (Mo) 

—w (8 (mo) - u)8" (mo) ] 

= [Y Omo)) — Y (0 (mo +h))10 (mo), — (8.25) 
8. 25) — u=0 (moth) — 0 (mo) 代入 而 得 到 , 此 处 


WO =- $0; 0 (0) = 6(). 
众所周知 , 业 (9) 一 mn(0), 以 此 代入 3.25) 式 ,和 
Vi (mo) ho 6 (mo)h (I <8). 
因此 Va(m)-6'(m) QmeM). 
再 取 1 一 2, 通过 与 1=1 时 类 似 的 推演 可 得 
Vis (mo) F = (9 (m))*l? 


+ [—6' (mo) 4- h" (mo) — Y” (8 (moth) ) (9 (mo))*], 
iu Bp | 


i (0 (mo--h)) =f - 8 (mo) +0” Gg) h 
&[ no) 一 到 Va Cmo) JAë KB (mo). (9.26) 
根据 引 理 3.3 的 推导 ， 可 在 [A] <8 内 把 ^ (0 (mo--R)) EA h B 
TRA Ši- rO (mo)ht, yet 
ro (mo) 3 V" (8(m)). 


以 rodm 天 代入 (3.26) 式 ， 再 对 及 (一 0 1, 2, =) 的 系 


数 比较 得 
r (mo)  — [0 (mo) ] Fmo)=0" (mo) [9 (mo)]™, 
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v" (mg) 一 | (人 (mo) )3 一 E V aa (mg) ] [LO (mo) ] ^, 


r9 (mg) — =0 QHi8), | 
由 于 mo EOM 中 的 任意 一 点 ， 和 根据 rO Cm) = 0 (34 i293), mcM 
ER. HERA | 
r (m) = — [8'(m)]*— — (Am3--Bm--O) (AmEM). 
故 0' (m) = (Am? -- Bm 4- C) 71. 
必要 性 得 证 . 

元 分 性 ， 这 是 一 个 繁琐 的 分 析 ， 以 下 分 为 4= 瑟 =0; A=0, 
B0; A0, 但 Am? -- Bm4-O — 078 Wi 4-38 58 SCA; 47-0, hm 十 
Bm 十 0 一 0 有 两 个 不 等 实 根 ; A<0, Am?-Bm--O 有 两 个 不 等 实 
根 ，4>0 无 实 根 等 六 种 情况 进行 讨论 . 由 于 证 明 的 方法 基本 相 
同 , 因此 只 详细 证 明 A= B= 0 ft eoo, RE RARIOR AR, WE 
Bj JA RE, 留 作 习题 . 


(D A-B-0, mM 
f (s, m) exp t 1 (gy 一 deme } o>0. | (8.27) 
VCX) — N (m, c). | (8.28) 
Valm) =i! 05 (i, j—1, 2, e), (3.29) 


Ej 6 (m) = (m/(0)) ^ — (Var, (X5) 170, W 07-0, 
由 方程 0 (m) = RR 0 (m) =m d, Tij 
X V (8(m)) 一 ~ m8! (m 一 — etm 


解 得 PO) =- mtd LeOn) -dd 
而 te) 的 特征 函数 为 BEI mE 
f (t) =—exp{y (8) 一 (0 - Hit) exp] - t imt L, 
这 说 明 £(X) ~N (m, o), ua 
HFT (m) — (B (ro) Hu) =u EE, AE GRIAG24), 
可 得 当 [A| «o 时 ， | 
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n h* di m45 
NI Vu (m) = eY OMER ym) 一 e 2 
"es k! dan! 


E or ds iru 
我 们 用 原来 4 的 定义 为 =90(m 十 加 一 0(m)=e hb 代 入 上 式 右 
3e, 即 得 





2i Via (m) "up ch. 


由 此 即 得 Vu= k! Sna Pd q= 1, 2, e). 
总 结 其 证 明 步 又 为 ; 


D 利用 8 (m) = CAm?-- Bm-- 0): R -HO (m) e mm) 


RIA] 0 (0) (8 (m)) 的 一 般 表达 式 ， 从 而 可 得 了 (wm) 的 
一 般 表达 式 ， 

i) 利用 e/(»-vcom t9? 2 o 0) (这 是 办 并 ) 的 特征 函数 ) 可 找 
出 EOD MLB AS ERI. 

ii) bb d (0(m)) —(8 (m) +u) 代入 (3.24) 式 的 右 端 ， 取 微 
4 (u 作为 与 mn 无 关 的 参 变量 ), 然后 利用 &=0 (mth) — 8 (mo) S 
展 为 及 的 每 级 数 ,与 等 式 左 端 对 比 , 即 得 VuM 的 表达 式 。 

ye a ens 

(2) 4=0, B#0, Bm+0>0 (Q4 mcM nj). 

js, m) —exp{B G (s) -- B"O)log(Bm--O) 


— B-* (Bm O)). (3.80) 
ECX) ROFF TE 8 3 7 
| plu) T g P anso dice noctis iy. (3. 31) 


B^3t(X) t B0 Poisson 分 布 (B m--c). wA B 
一 0 或 0 一 0. 

Vuln) =i! (Bm+0) ~S; (i, j=1, 2, ---), (3.82) 

(8) A70, Am? -- Br --C — A(m—a)?, mz»a (或 mao). 
F(s, m) —expí— A7! (m — a) * (£(2) -o) — A og|m —a|)., 
(3.33) 

AQ BURSHE ELO 
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p(D 一 et 人 -4 一 ao ^, (3.94) 
UUX) — o RAT ataol, A7 


Valm) «(Tl (A+A) )|m—a|-*8y (j=, 2, 9. 


(3.835) 
(4) A70, Am? -- Bm-- CO — A(m —o) (m — 8), a« B, m7» B 
(X ma). | 


JG, m) exp {ri(X)1og ZE- rlog |m-—- 8|^ | 








|m-a|* ]' 
r= (—a) id (8.86) 
X) 的 特征 函数 为 
p (u) =e P4 (1 gor") ^. (3.87) 


此 处 p—1—9, 0<p<i, dg mB-—aHBj, 


UE. 
a-B, pl a 
在 m<a<B 时 , 
一 


&—a, P=1— Bam 


7t(z) —a 的 分 布 为 
P (ri(X) —a- b) -( 4 pmo». 
在 4- 为 正 整 数 时 ,刚好 是 着 二 项 分 布 
Vum) = 下 (站 (r8—ro--) )(a—m) (8m) 


(4, 3-1, 2, m (3.98) 
(5) A<0, — (m —B), ««m «B, 


(m~a) 
f(s, m) 一 exp Íri (x) log 2 — r log magh 


pens (s u (8.89) 
CCX) KIRE ERO 
p(u) —e"" ( p-- ge" *) ^, (3.40) 














此 处 p49, 0<p<1, p-(14 2-9) .在 一 4-+ 为 自然 


lc, r (XO) 一 ~ 二 项 分 布 B(p, 47. 
Vs(m) =it( Tl (r8—ra— 8) )[(m—o) (8—m)] òy 
(i, j=1, 2, ==). (3.41) 
此 式 表明 r(8—a) = — 47 只 能 是 非 负 整数 方 能 有 Vu(m) >0, 
否则 , 会 有 Va (m) <0 出 现 。 这 与 Va Gr) 的 含意 不 符 ， 故 这 种 情 
况 仅 能 是 二 项 分 布 . 
(6) 4>0, Am? -- Bm--O (m C RN RXR. 


j (s, m) 一 exp | 人 (tw 一 各)aro tg (m — a) | 
3 log C+ (m —a)”) | (8.42) 
jk lb r-2(440— B) 3, 8-470, a= -18 
t( 工 ) 的 特征 函数 为 | 
g (u) = (cos? r1) 32 (cos? (7i (B4-iuy)) 3845" (3.48) 
其 对 应 的 分 布 在 [18] 有 详尽 的 讨论 . 
rym) - 8 (TE (E+) G+ 9m 2) 8 


(i, j71, 2, ej). (3.44) 
以 上 六 种 情况 Vln) (k—1, 2, --) VON fü Pe, 从 而 定理 得 
ut. 
不 难看 到 满足 0 (m) = CAm?-- Bm--0O) 70 的 指数 型 分 布 
族 包含 了 常见 的 几 种 类 型 分 布 ， 因 而 我 们 称 它 为 常用 指数 型 分 布 
XA. 
定理 3.6 如 果 {Fe m) -f(z, 00m)), mc MJ 为 常用 指 
数 族 , 9(m) 是 政 上 的 可 估 函 数 ,那么 g(m) 有 有 限 方差 的 UMVUE 
9 存在 的 充 要 条 件 是 : 当 mE 于 ,有 


23 (99 (m)) V gd (m) «eo, (8.46) 
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此 处 规定 Vzi(m)-0(34 Vi (m) = 0 时 )， mH 
Varn (Ô) = $ (g*Gm)?ViGm) (H mEM). (8.46) 


证 充分 性 设 (3.45) MA, Æ M 中 任 取 一 点 rzo， 由 于 
g(m) uk, 4 g(z)25 g Cm) 的 无 偏 合计。 由 于 tz) DUREE 
量 , 故 
JE) = E(GCX) |t(2)) 
也 是 glm) 的 无 偏 舍 计 ， 根据 指数 族 分 布 性 质 


g(m) —g(mo) =$; g” (m) =T (mea, 


记 bo g (mo), Ci g? (mo) V * (m) (一 po» 
由 假设 n G< R (i, Zim, mV, (mo), i—1, 2, e) dE 


L4(f (s, mo) djs) 的 一 组 完全 正 交 基 . 存在 
jo (1(2)) € Da (f (s, mo) dy) 


H. 
Em (GX) -KZ QC, m) Va? (mo))*30 
C n>00). 
Em (jo (1) LAE, m9) - G1, 2, +), 


Es [99 E(X) 7 X «oo, 
又 根据 引 理 3.2, 存在 070, 当 | m — mo| «0 时 ， 
JG, m) e $i EEG m (mmo) /id! 


omi 


-23Z, mo)J (s, Mo) (m 一 no fa Cae, 
因为 


fis. (e, mo) |f (e, mo) dp : E. i 
<n TAGID? DES Z2CX, M 
-(&) vv. 
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根据 定理 3.5 的 充分 性 证 明 中 关于 Va (mo) 的 表达 式 知 道 ， 
存在 ka (mo), 使 得 
V (mg) « (i!) ki (mo) (—1, 2, …), 
故 当 |m 一 mo| <min (ð, kI? (mg) ) 会 So 时 ， 
ao ropod)1FG moda <o, 
因此 当 | 和 一 mo| «o Bj, 
E, [o (t CX ))] 
= (Fot) Š Zilo, mof (e, mo) (mmi! 
- Sé GEZE, mof G, m) du. ET 
e 1 ncn si œ : — i 
"x GV È (mo) ( ze) -E g® (mo) n mo) 
= g(m). | 
BUPIQODI01:0 EBMEXIXB] LAME M 上 任意 区 间 上 ) 
为 完全 充分 统计 量 , 从 而 
Jot (X5) -g(£(2)) a.s.p., 
Varg,(g (XYY) = Vara, ( o(£CX))) 
= 33 (9 (mo)) V i (m) «eo, 
由 于 mo 的 任意 性 , 充分 性 得 证 ， | 
必要 性 :e 因 为 g (m) REA, 存在 有 限 方差 的 无 偏 估计 9 (2) , 利 


H B-R-L-S 定理 , E(g (X) |t(2)) 一 9(t(w)), 即 是 UMVUE， 再 
由 Bh 不 等 式 及 g? (m) (v —1, 2, AFE, KA 


eo Varn (9 (£(X))) 23 (gf (m))* Va (m) 
(4 m € M, km1, 2, +), 


故 


故 $; (99 (m))* V 21 (m) «eo, 
再 利用 充分 性 的 结论 , 即 得 


e 4 47 。 








Var,($((X))) = È (g? m))*Vzi(m) Qi me M), 


至 此 定理 证 完 . | 

前 面 虽 曾 指出 了 本 章 的 例 工 .2 中 的 gA) =e™ BUG id 1 77 
差 达 不 到 任意 阶 Bh FÆ. 但 由 于 Poisson 分 布 属 于 常用 的 指数 
族 分 布 , 故 


Var (Eo X e? Vi) e? (e^ —1) 
达到 了 koe 时 的 Bh FR, 
例 3.2 设 卫 和 ~~ 工分 布 ,其 密度 函数 为 
Fo 9) - (T (a)) -i200 (0>0, a>0, 27-0), 
EX —a^m, g(m) —e *, K UMVUE 为 


^ e (a —1i)* 
$G)- 3 Tr -i zx 


Valm) =k! T (+o m?  — EVI (k+ P (a) m ?* 
(k—1, 2, TOF 


A nd 2k 
Vara) = Spire en, 








这 些 公 式 由 (3.35) 和 定理 3.6 的 (3.46) 式 可 得 到 ,但 另 一 方面 ,又 
可 直接 计算 9 (e) 的 方差 E(gCX)) — (Eg XD? 而 得 到 恒等式 


CY RI/ n I'(n4-o) la) g" __ 5-28 
A B l'(k-ca)i'(n—k-4ca) k!(n—k)! : 
DESE AON Pen i (8.47) 








ki (b--a) k! 


$4 多 参数 的 C- 民 型 不 等 式 


一 、C- 及 不等式 


此 节 是 把 单 参 数 的 O-R 不 等 式 与 Bh 不 等 式 的 某 些 结 果 推 
广 到 多 参数 的 情况 ， 我 们 仍然 采用 本 章 以 往 采 用 过 的 符号 与 相关 
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的 假设 .现在 先 讨 论 0-R 不 等 式 ， 仍 然 假 设 下 列 正则 条 件 成 立 : 
i") 6 是 RE? — Y 





», 6) (0€ 6) 有 共同 的 支撑 ,不 
妨 设 f(z, 9)>>0 (4 M. 0€6); 


ii") EA f (s, 6)di. —0; 


ir {f-+(%, 6) fe ol duco (36€6) 
v*^*) Fisher 信息 阵 
10) 7] i76, 5 (25 £6, (s re. oy d 


Q4 0c6), 
3]384.1 inay A0, B>0, A—Bz0, N 
A= Bexdet A — det B. 
证 因 4>0 了 >0， 所 以 存在 非 奇异 方 阵 G, [ét 
A-G'G, B-G'AG, 
此 处 A=diag A, Aa, cs, 24), BHmO  (2—1,2, =, n), 
x 0«A—B-—G'(I— 4)G9I — Az0, 
B OSA «i(G-1,2,.-, n), 从 而 可 知 
A= BeI = Aexdet A — det B, 
定理 4.1 设 分 布 族 多 满足 正则 条 件 认 )~Y”)， 
GO) = (g0), =, OY, Exp 
可 估 , HE O-R 连续 可 微 映 象 ， 记 


D()-(28.. , à)- Gi, es EOY, 
H EG (X) -G(), | VAR CX) | oo Q 8€ 0), Go) 还 满足 
IE RU A 
vi?) [Gw (Ere 9) d(e, Dan ) 


-D(0) (0€0), 
那么 
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VAR,(G) z D(8)1(8) D'(8); (4.1) — 
detVAR,(G) 2det(D(9)I-1(9)D'(0)) (340€0),. (4.2) 
di p«h, DOE 0—0,CO gk, W (4.1) (4.2) 3€ 0 —0o 4 
等 号 成 立 的 充 要 条 件 为 : 存在 %xp 阵 BO), fit 


G —G — B(6,) Z (a, 0o) ? B (8,) - 





log f(z, 62. a.s. Po. 


ð 
06, | 
(4.8) 


其 中 rank B(069) 2 rank(V A Rs, (G) ). | 
证 Hii) Ap EZ (e, 05) —0, py iv) X v'*) 知 
IT| <œ, I(0) 20 ( 当 0€0). 
由 正则 条 件 vi”) 有 l 
cove(G, Z (s, 8)) =E {G(X) (F tog fX, 6)) } 


=- (EÂ(X)) =D) Qiece) — 44 


Q VAR cov,(G, Z) 
o<vaR| Z (v, 0) ) E Bier. Q) | VAR Z 
VAR,G D(A 
g | D'(9) I(8) | 
根据 矩阵 公式 (3.6), 24 1(0) >0 时 ,就 推 得 
VAR,G — D(8)I71(8) D' (8) z-0, 
从 而 (4.1)、(4.2) 式 成 立 . 
现 证 定理 的 第 二 部 分 : 因 
I(0,) 0, Rank D(0,) =k, 
BIEN Pe F (09) , 使 
171 (89) =F (8o) CF (8o))', 
k=Rank DF — Rank DF F'D' = Rank DI^! (09) D. 
以 致 D(89 I? (9) (D(69)) 70, VAR, (3) 7-0, 
E318 4.1 Af 
VAR4G = D(0,) I-1(69) (D(09))' det VAR, 
- det(D(89) 177 (89) (D(89))"), 


(4.5) 
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必要 性 ， 对 任意 hxp 阵 BB, 有 
eov (G, BZ(%, 00)) = EG—G)2’(%, OB 
= D(00) B’; (4.6) 
cov (BZ (v, 69), Q) = BD (00); (4.7) 
VAR&,CG — BZ (v, 00)) 
—- VAR,(GG) — D(09) B' — B'D' (6,5) 4- V AR«(BZ (v, 00)) 
= VAR&,(G) + BI (09) B' — D(09) B' — BD'(0,), (4.8) 
zi (4.1)m& (4.2) 3e 0 — 0o 处 等 号 成 立 , 取 B— D(09)I * (89), 
将 它 代 入 (4.8) 式 , 即 得 
VAR,,(G— BZ(%, 00)) =0, 
故 G — G. (69) — 17 (09) D' (B9) Z (&, bo), a.s. Po. 
因 Rank D(f,) =k, ii Rank D(69) 1-1(09) =k. 必要 性 很 证 . 
充分 性 : 车 有 BCE -GO — B(09) Z (v, b), a s. Po, 
故 
Es, (8. —G (69)) Z' (e, 89) =D(00) = B (00) I (6o). 
1, Rp B (80) =D (Co) I (80). 
将 它 代入 (4.8) 式 ,得 
0= VAR, (Ĝ) — D (0) I3 (89) (DOY. 
这 说 明 (4.1) 式 在 0=b AFRA AWEDE, E, 
定理 证 毕 . | 
x184.2 若 分 布 族 多 满足 正则 条 件 1") v, Â 是 9 
的 估计 , 县 


BB(X)) ^60) 60), DO) ^ (2509), 


又 设 6(w) 满 足 正则 条 件 Vi*)， 则 对 任意 的 C0 的 wp 维 向 量 ， 和 党 
有 
UVAR OX))E 
UI TUDQG) T (()6(1(9)07] 
(4 OEO), (4.9) 
证 沿用 定理 4.1 的 记号 和 结果 ,有 
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ECX) —9)Z' (X, 6)) —cov.(Ó, Z) ^ D(8) 
— I,4- D(0). (4.10) 
由 Schwarz 不 等 式 可 得 
[2 (1,4-D(0)) I3(8) C)? — ES [t (6 —6) Z' (e, 6) I (0)C] 
« Vars(( (0 —0))- Var (C I7 (0) Z (n, 0)) 
=E VAR (Ê) EIO. (4.11) 
从 而 (4.9) 式 成 立 . 


二 、(C- 及 不 等 式 等 号 成 立 的 充 要 条 件 


定理 4.3 ”假设 定理 4.1 的 条 件 成 立 ,并 进一步 假设 一 p, 对 
f oL] o. fn, 0) 关于 9 连续 , 50 — D(9) des E (0 CO). 


且 对 每 个 poE@, 存在 bo 的 邻 域 FeC@ fit IO 在 Vo, FEER, 
则 GC9) 的 无 偏 估计 方差 阵 处 处 达到 下 界 ((4.1) 式 成 立 ) 的 充 要 条 
件 是 存在 / 零 测 集 立 KYO) n Q0 , 4 
flw, 09) -8(B)r(z)e" 999 (X EN, GEO), (4.12) 
这 时 必 有 B(9) >0 有 连续 一 阶 偏 导数 ，( 4) 非 奇 ， 关 于 9 连 
2k or(z)-0. | | 
证 HIDQEPR4.l E RA, (12) SURGLEDIEXSARTEON. 
存在 B(0) TX) 5 — 9] 0 CO 有 5 
Q—G(8)—-B(8)Z(z, 0), a.s. Pa (4.18) 
B(8) -D(8)I-(0). (4.14) 
1818 (4.4), 24 0 CO 时 , 组 有 
(Q —G(0)) Z' (e, 8) - B(0) Z(z, OZ (e, 8), a.s.P,, 
! (4.15) 
由 于 f(z, 9)250 G4 2c€.X 0€0), i Po P., 根据 (4.15) 式 ， 
对 任意 确定 的 kB 及 了 Cg M 0c Vu Br, IOR D? (0)/8 
En (G(X) —G(0)) Z'(z, 0) - B(9) EZ (a, QZ (x, 0), 
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Bicig-00co) nd xmag Z, 01438414, 
故 Eal, 0) Z'(z, 0) -0, Hifi 
B(8) - E,((8—G(6) Z'CX, 6)) 


{BoZ(X, OZ (X, 8) 97. — (4.16) 
由 于 


12 (xz, OZ (a, 0) | 
=| B7 (8) (G (o) —G(0)) Ga) —G (0)! B7 (8) | 
«b; | BO |* (1 (2) |*2- 1G. (0) |9); (4.17) 
IĜ —G (8)) Z' (æ, 0) | 
- (8 —-G(8)) (6 — G (8))' (8 (0))'| 
«ks |.B71 (0) | l+ |G (8) |9). (4.18) 
JOPA ER 4 阵 各 元 素 的 绝对 值 最 大 者 ， 厂 ,bs 是 常数 ， 由 于 
VA Ro,(G@) 存 在 有 限 , 故 根据 (4.14) 及 I(9) 的 假设 知 : B0) 36 Va 
LER, 由 (4.17) (4.18), 控制 收敛 定理 及 Z(w, 0) 与 f(%, 6) 
关于 0 连续 , 就 得 到 
mm 
= Es [(G — G(65)) Z'(z, 69) ] (EZ (a, 09) Z (, 69) ^ 
=D (00) I+ (8), (4.19) 
此 结果 说 明了 BOLTO 连续 . 
KAE BIDARE, Æ We 中 任 取 两 点 z1*w2, 因 
| f (s, 8) 0, | 
8k 8(0)0(046c6), 同时 
log f (zi, 9) 一 log f (va, 0) 
— =logr (24) —log r (2a) +47 (0) (Ô (2) —G(w3)). (4.20) 


li Zio, g) 存 在 ,对 每 个 = 关于 0 连续， 故 动 存在 关于 0 连 
续 ， 从 而 686.9) 有 一 阶 连 续 偏 导数 . gn 

Zle, 6) - log B(O) + 2 (D. a Q(m, (4.21) 

2 (9 (0) ap 0) E 

ox (0) - (268 y VARG (X) E, — (4.22) 
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UU Wk PERAL RUDRA CRE ERU.) 
在 日 上 处 处 有 等 号 成 立 . 
必要 性 .根据 定理 4.1， 车 (4.1) 在 上 处 处 有 等 号 成 立 , WU 
(4.18) 34 6€ O el xr, Jti B) dd Ede. da 
M —((z, 0):Q(z) —G(8) -B(O)Z(sz, 0)), — (4.28) 
W LKO 上 的 Lebesgue 测度 , H (4.13) 及 P=u A FREN: 


| me， 0) dwaL=0. 


由 Fibini 定理 知 ， 存 在 儿 零 测 集 入 ,使 当 wEN 时 , LM) =0 
(Mez 表 到 在 zz 处 的 切口 )、 又 由 于 了 (0)、G(O) 、G0o 0) 关于 4 
连续 , 故 M*— 9, 所 以 当 wEN 时 , (4.18) 对 所 有 的 9E8 成 立 . 因 
此 ,通过 解 微分 方程 (4.18), 即 得 
log f (z, O —*(0)Q (c) +W (8) 4-h (o) 
Q4 sc N, 0€6), (4.24) 


WO gag, WO pa 
O Bag, EO ~ —B-+(0)G(0). 


X (4. 24) 的 两 边 取 反 对 数 , 即 得 
f (%, 8) - B(8)ev o, (s) , 
其 中 8(8) =e O>, r(z) =t, pO Si EXER. SEXIES. 
定理 4 Eom Xu G0)-9 及 其 无 偏 估计 
Q (c) 丝 满 足 定 理 4.1 的 条 件 , 那么 
iD 车 I(0) 一 了 >>0( 与 9 元 关 )， 则 VARG(%) 处 处 达到 O-R 
下 界 的 充 要 条 件 为 GCX)~NC9, V 75, 


iom 1(0) - (n6, - (1-0) jos 其 中 0>0G- 
1, 2，…, p), 36,71, WW VAR O MERE] O-R 下 界 的 充 要 条 


件 为 2G 服从 参数 为 91，0:，…， 0, 的 多 项 分 布 . 

ii) 43$ I(8)-(0o,0;?8,) pxp, 094770, 670 (4—1, 2, =, p), 
则 VARG 处 处 达到 O-R 下 界 为 Ge) 服从 参数 为 Cou, nn, og; 
03013, -, a5 ) B] D 2g. | 
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证 “充分 人 性: 根据 定理 4.3, 充分 性 是 显然 的 ， 我 们 只 证 必要 

性 :在 让 的 情况 , 由 定理 4.3 知道 : | 
f (a, 8) = e Xt wot on, (4.25) 
A 0) =E (G(s) -8) =B (6) (ĜO). (4.28) 


因为 D(0) — L, ics (4.14 f -- 
B(f)-r39)-vo-(90.), 


故 vb (6) — V6 +a, 

aW ow ul - 
而 2K- -2 Gp). yo, wii 

W(0)- -lev6ce. 

KM C | 

f (a, 0) exp iva (2) --a'Q (s) — T. 0 V8-ho-À; o 

-exp{ o vâ (a) - 1. 9 V6--h Qo). (4.21) 
A QV -U, M 
leyo-lryu, 

— PRI Z 


1l Gave Hu- tot iwit- l uwo Mr iu’0o— tuytuy 


利用 反 演 公式 即 知 Q (m) —- N (8, w”). 
i) 与 iu) 的 必要 性 的 证 明 与 完全 相似 ， 即 利用 定理 4.8 
R PO 及 B (9) (或 砚 ( 分 )， 再 计算 G(z) 的 特征 函数 ， 再 由 特 
征 函 数 唯一 决定 分 布 函 数 . 
由 此 定理 也 不 难 推 得 . 若 假 设 f(w, 0) eer TOT ni 
9 的 无 偏 估 计 处 处 达到 O-R 下 界 的 充 要 条 件 是 (0X) —-N (0, D), 


(4.98) 


a. 多 参数 Fisher 信息 阵 的 性 质 


如 同 $ 2 一样， 利用 类 似 的 方法 可 得 到 多 参数 Paner 信息 阵 
1(8) — EZG, 0) Z' (v, 0)) 的 性 质 如 下 : 
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(1) 1(8) 20, HH n AEK; 
(2) d X, Y my, Hr veu ibas i) ivt), 
my CX, Y) RARD RERE 1) niv"), H. 
IX* (8) — I*(8) - IY(8), 
(3) 假设 X 及 其 统计 量 卫 ( 民 ) 的 分 布 族 LO, PT 皆 满 足 正则 
条 件 i") ii") iv") 和 对 任意 的 AC Za BC 2, VH 


(fe. Dau- | fs Ddu, 


L5 f Ddr- a 
则 有 179 (8) <I (8), WR 
Zle, 0) =- logf (%, 0), ZE, 8) 7 log f" (t, 6), 
W 17(8) —I*(0) 的 充 要 条 件 是 下 为 g 的 充分 统计 量 ， 此 处 


f" (6,0) dtm 了 (w) 的 密度 (关于 n^). 
上 述 证 明 沸 从 略 . 


四 、 多 参数 的 Bh 不 等 式 


对 于 多 参数 的 情况 ,同样 也 有 Bhattacharrya 不 等 式 成 
Y. BRIAR XP, Fe-S, 0), OE0, 8 为 且 开 区 
域 ， 定 义 | 


Ze 0) (1 0)? efr, 0 (4.39) 


R- ((4, =, à), i Xo dE UO 1o, 且 不 全 为 零 } 
在 有 RR 上 规定 次 序 如 下 : 


D 3 3i Dt Hg rs, sor) ns ds 








D € n= i om i $ nc $m 
(ri, in rs) X (^, is, **, tp). 
对 任意 正 整 数 W 和 一 组 非 负 整数 (Ta …, 19, 20, ia 
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Ry, UU, 15 = is, S ip): Cis, y ip) ER, SIn, 


pa d. o $in], 
Z (v, 80) E Zu, ir (0, O = {Zai (0, O (a, rn, by) 
GR eed. (4.30) 
其 中 随机 向 量 Z (o, 9) 的 分 量 按 前 面 所 规定 的 (51，…， ip) 的 次 序 
排列 . 
iE G(8) —(g(8), -, WOY (Exp), id 


ng gute 9) 
g: (8) — Sus coy 各 s 


AÈ f Y (s, e, a y 了 9) 中 的 次 序 . 记 
d, (gf? (8), =, EOY w=, =, B), 
其 中 M H Ry, s, I)XOR MAI 再 记 
D(0) = (91, **, 9g) nx. 
如 果 GC9) 可 估 , GCw) 是 其 无 偏 估计 , 在 与 $3 类 似 的 正则 条 
£F F, 则 有 
i) VARQGZD(0) V^(0)D* (8), (4.81) 
i) (4.81) 5&9 y vr EE E px N. 满 秩 和 矩阵 B (0) ,使 得 
G (sz) -G(0) - B(8)Z(s, 0) (340c€0), 
在 (4.81) 中 ， — V(0) - E,(Z(o, 0)Z' (o, 0)). 
RR DO) V 1 (80) D'(8) 8 Ru (Js, 5, I) 阶 Bh 不 等 式 下 
T. 
B|4.1 A X. Xa, X4 n(n272) A iid. 随机 变量 , x 
MESS A NW, o), WW 6— (nu, y 的 UMVUE fh il 38^ SJ 
O-R 下 界 , 但 达到 R3(2, pd TR gm, 


f, 0) - TE a i s Seno" ] 
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Zle, 0) - (f (a, 0) 3G. 8) =no (E — u); 





Zs (æ, 0 - CfG, M) aor 0) 
EE S oat 


EST 4 




















20? ANO c 
Za (s, D= Cf, 0)) zo f 0) 
ee 
g* `“ 1 cg?" 
去 0 0 
V(8) - EZ (v, Zæ, 0) -| 0 5; ET ; 
| AP 
ko 
z= 4 3 a 一 人 s " 
G(8) -6 ij UMVUE X Ĝe) - (z, =) ， 
o? 0 
1 
VAR(Q(X)) = 
o 3€. 
! n—1, 
其 O-R 下 界 为 
n | g? 
( j^ 9 ( E w Y 
0 1 a No 1/. 204 上 
0 2o* 0 n 


显然 ,VARs(G(z)) 没 有 达到 O-R FA. 而 Rs(2, 1) pri Bh 不 
等 式 下 界 为 


1 0 g? 


( 0 0 cto g 
Volo 1 j= 

0 1 $ 0 2g* 

0 0 n—i 


这 说 明 VARAAT Bs(2, 1) fri] Bh 不 等 式 下 界 ， 
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km 


1. dH r.oX-— Np, 02), 如 果 凡 的 估计 EG) Ig. E (Qu — AXI, 
o?) «c?(4 LC R5, ju] GG) c, as L, [提示 : 用 C-R 不 等 式 (1.20), 解 
微分 不 等 式 D? (u) + (1--b'(u) )?0? «07, 18 b(u) —0, WERE. 
blw) =u — E,CA(X)). 
AMEB Aa c, a. s,L.] | 


2. 3 r.oX otro anpie T ect (Loo 0 on) RE C-R AER 
否 成 立 ?如 果 成 立 , 试 证 明之 . 

3. 令 xi, za e, La Jy nA üd. 随机 变量 ,服从 如 下 三 点 分 布 
PX y) =Í, PX ego - 1, PX) - $000, 
试问 C-R 不 等 式 在 这 各 分 布下 是 否 成 立 ? 它 的 无 偏 估计 的 最 小 方差 是 什么 ? 

4. 试 证 明 Kiefer 不 等 式 (1 .22)， | | 

b. 设 mi Ta, t, zn Jy n AN iid. 随机 变量 ,服从 : a) (0, 0) .上 的 均匀 分 
fi;bXpé L-e (m8).i1. 0 的 UMVUE 3 358 Kiefer 不 等 
式 下 界 (1.23)，[ 提 示 : 在 情况 EU Qo - S EL( el) a c8 - 0 
h <0); ERE, b) dM (h) Ge" dh, (H id 


6. iro X RAHÉ PICO), Bag dre z:-f, 0) (a0 b), ili B 


fr, 0) 
一 3 一 存在 , 以 及 





Odu, 





[fe Odap— 


则 Fisher 信息 函数 7(6) — — E, ii log f X, in 
7. 车 r+r.vX 服 从 极 值 分 布 , ERRERA 
f(z, a) ~exp{— (x—-a) -e C7? (zc R', ac Ry) 
ij0-e*. ik, Deag, i) 以 ga 分别 作为 参数 的 Fisher 信息 
函数 ， 并 指出 这 两 个 信息 函数 的 关系 是 什么 ? 
B. 车 7.0 X —35 4338 BOn, p (0p —1), Wok np(1 - p) UMVUE 
和 此 估计 的 方差 ;并 指出 它 达 到 哪 一 阶 Bh 不 等 式 下 界 ? 
Ms 1 3 
9. Zr. X—N(0, o?), ik VER UMVUE 及 其 方差 ， 
10. 多 项 分 布 
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n! k ，- 
P(X,—^, e., hp perp (3-5 35,71) 
esa "- í"1 


及 Weibull 分 布 ,其 密度 为 gr € QO-r, 0-8). 试 求 这 两 个 分 布 的 


Fisher 信息 阵 和 CR FR; i 含 未 知 参 数 的 无 偏 估计 ， 
而 能 达到 C-R 下 界 . 00 | 
li. 试 证 明 多 参数 的 Bh 不 等 式 以 及 有 偏 估 计 的 Bh 不 等 式 . 
12.* 假设 zu 2a …，zn (n22) 为 ;个 iid. 随机 变量 ， 服从 正 态 分 布 
N(p, 0°), HE 本 c0, 如 果 存 在 c2? 的 二 次 型 估计 


óg(x1, , Ln) = 2 Q4T,;, 
使 得 E(82—-0*)'« de 
Xj— o0, HERRY. 则 

-— 3-227, 


[提示 ; D 利用 2.72 Din R ste 21 (789! Qs 0 的 充分 统计 量 . 
从 而 满足 上 述 不 等 式 o 的 二 次 型 估计 必 具 有 arbi (020, 5> 0) JE. 
D 用 多 参数 有 偏 估计 的 Bh 不 等 式 ,得 到 类 似 于 习题 1 的 不 等 式 , 由 不 


要 
等 式 解 得 a=0, b | 


13.* ib r o X PA), nigre, AY.» 0) 满足 正则 条 件 D vi). 


IUE: A 的 无 偏 估计 能 达到 C-R FR MI 76 SER CERE X Poisson. 分 布 
PA. 
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第 四 章 Bayes 估 H 


$81 引言 


在 第 一 章 中 我 们 已 提 到 过 Bayes 方法 .当时 它 只 是 作为 判决 
函数 的 一 种 优良 性 准则 而 提出 来 的 ， 其 实 “Bayes 学 派 "《 指 那些 
鼓吹 以 Bayes 方法 作为 全 部 统计 推断 (及 判决 ) 的 合理 基础 的 学 者 
所 组 成 的 学 派 ) 现 已 成 为 统计 学 中 一 个 很 有 影响 的 学 派 , 它 在 一 些 
根本 点 上 与 “古典 统计 "有 分 层 ， 因 此 , 有 必要 花费 一 点 篇 幅 来 作 
些 解释 . | 

所 谓 “ 古 典 统计 ”, 按照 J. O. Berger dE HE m E UU p RR 
的 观点 , 其 特点 主要 有 二 : 一 是 它 只 依据 样本 而 不 考虑 先 验 知识 ; 
另 一 是 ， 古 典 统计 推断 的 “可 信和 度 ”， 一 般 是 “事前 决定 的 ”， 就 是 
Vi, 某 项 统计 推断 的 信和 度 如 何 , 在 进行 观察 以 获得 样本 o 以 前 就 决 
EJ. 无 论 得 到 的 具体 样本 如 何 ， 都 不 能 对 此 产生 影响 .Bayes 
学 派 在 这 两 个 根本 点 上 都 与 古典 学 派 有 康 则 分 歧 . 

设 统计 推断 的 对 象 是 参数 0 从 古典 学 派 看 来 ,在 得 到 样本 z 
Z, RT OCO 是 给 定 的 参数 空间 ) 之 外 ， 其 他 一 无 所 知 . 0 
当然 也 不 视 为 是 随机 变 景 . Bayes 学 派 则 认为 : 即使 在 进行 观测 以 
得 到 样本 > 之 前 ， 人 们 对 2 也 会 有 一 些 知 识 . 这 可 以 是 由 于 某 种 
理论 、 以 往 在 对 付 同 类 问题 时 所 积累 的 经 验 、 或 者 是 观察 者 的 主观 
AR. 由 于 这 种 知识 是 在 试验 前 得 到 的 ,， 故 可 以 称 为 验 前 或 先 验 
知识 (Prior information)， 表 述 这 种 先 验 知识 的 最 简单 和 方便 

1) 虽然 本 章 的 标题 是 “Bayes 估计 ”， 但 许多 内 容 对 一 般 判 决 问题 也 适用 。 BR 


于 Bayes 估计 问题 并 不 带 来 叙述 上 的 简化 , 且 有 一 些 处 理 上 的 困难 。 然 而 ,为 
照顾 本 书 性 质 ,在 举例 及 编制 习题 时 ,我 们 基本 上 局 限于 估计 问题 。 
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的 方法 , 是 将 0 视 为 一 随机 变量 , 而 给 出 它 (在 Zo 上) 的 一 个 概率 
分 布 五 ， 叫 做 9 的 先 验 分 布 (Prior distribution), 比方 说 ， 设 
4E5, 而 互 (4)=0.9, 则 表示 在 做 试验 前 , 我 们 已 有 90% 的 把 
握 预 言 未 知 的 0 落 在 集 4 内 。 这 种 知识 如 果 是 确实 的 , 当然 会 有 
助 于 对 9 的 推断 . 

从 常识 上 看 ，Bayes 学 派 关 于 在 考虑 9 的 推断 和 判决 问题 时 

必须 考 骨 的 先 验 知识 的 观点 , 无疑 是 正确 的 .问题 在 于 : 在 每 个 
具体 问题 中 这 种 先 验 知 识 是 否 存在 ， 是 否 能 以 概率 分 布 的 形式 加 
以 确切 描述 , 则 很 难 给 出 使 人 信服 的 一 般 回 答 . 下 面 是 一 个 能 够 
作出 这 种 回答 的 简单 例子 . 
O 设 某 厂 每 日 进行 抽样 检查 ， 以 估计 当日 生产 的 产品 的 废品 率 
0. 就 特定 的 一 日 而 言 , 9 当然 只 是 一 个 确定 的 未 知 数 , 无 随机 性 
可 言 . 但 逐日 的 废品 率 会 有 些 波动 (在 此 ,我 们 把 这 种 波动 的 原因 
假设 为 纯 随机 性 的 ， 总 的 生产 条 件 保持 不 变 ), 故 从 较 长 一 段 时 期 
T, 就 可 以 把 9 视 为 一 随机 变量 . “特定 一 日 的 废品 率 ” 则 是 8 的 
一 个 “实现 ”. 如 果 我 们 在 一 个 较 长 时 期 对 逐日 的 废品 率 ( 或 其 估计 
值 ) 作 了 记录 ， 则 所 积累 的 资料 也 可 以 大 体 上 定 出 9 的 先 验 分 布 ， 
在 推断 9 时 考虑 到 这 种 先 验 知 识 , 显然 是 有 益 的 .比方 说 ,车 8 的 
先 验 分 布 的 概率 绝 大 部 分 集中 在 0 一 0 附近 , 则 表示 从 历史 上 看 该 
厂 的 废品 率 一 加 很 低 . 这 时 , 若 我 们 要 通过 从 某 一 日 生产 的 产品 
中 去 抽样 以 估计 废品 率 89, 则 当 样 品 中 的 废品 较 多 时 , 9 的 先 验 知 
识 将 使 我 们 把 0 的 估计 值 (仅仅 基于 当日 样品 的 估计 值 ) 往 低 的 方 
[5] 3& 24 Je] E — 285, 而 这 显然 是 合理 的 . 

另 一 方面 ,车 被 估计 的 9 是 某 个 物理 常数 (如 光 的 速度 ), 或 是 
一 个 大 铁 矿 的 含 铁 百 分 率 , 则 类 似 于 上 面 那 种 饶 释 就 不 可 能 , 且 总 
的 说 来 ,用 Bayes 学 派 的 观点 来 处 理 这 种 问题 显得 勉强 和 不 自然 . 
当然 ，Bayes 学 派 在 谈 到 9 的 先 验 分 布 HL 时 , 并 不 一 定 需 要 0 在 
通常 的 意义 上 是 一 个 随机 变量 ， 也 可 以 是 当 作 试验 者 个 人 对 0 的 
主观 认识 的 一 种 方便 的 描述 ，Bayes 学 者 发 展 了 一 些 方法 以 帮助 
确定 这 种 “主观 分 布 "、。 这 样 做 是 否 合理 和 有 益 ， 自 然 会 是 一 个 引 
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起 争论 的 问题 .在 0 可 以 合理 地 认为 是 一 个 随机 变量 且 有 一 定 先 
验 知识 的 情况 ， 这 种 知识 也 往往 并 非 充足 到 能 据 以 确定 0 的 先 验 
分 布 的 程度 ， 因 此 , 先 验 分 布 往往 带 有 相当 的 主观 性 和 人 为 性 ,内 
而 非 Bayes 学 派 认为 把 这 种 方法 作为 统计 推断 的 基础 是 不 合理 
i. 

Bayes 学 派 提 出 的 另 一 条 辩护 理由 是 :“ 不 管 愿意 与 否 , 每 个 
人 都 自觉 或 不 自觉 地 是 一 个 Bayes 主义 者 ”详细 解释 如 下 : Bayes 
学 者 提出 了 一 些 他 们 认为 是 直观 而 简单 合理 的 原则 ， 以 作为 衡量 
和 比较 判决 函数 的 优良 性 的 根据 ， 然 后 证 明 : 只 要 遵守 这 些 原则 ， 
则 必 存 在 适当 的 完 验 分 布 H, 使 优良 性 准则 归结 为 在 第 一 章 中 所 
提 到 过 的 Bayes 原则 (确切 的 陈述 和 证 明 可 参看 [21 或 [3] 、[41). 
这 有 一 定 的 说 服 力 ， 但 并 不 能 从 根本 上 回答 下 述 批评 ， 即 : 承认 
Bayes 原则 在 理论 上 有 这 种 普遍 性 ， 但 因为 没有 解决 在 具体 问题 
中 确定 先 验 分 布 这 个 重要 问题 ， 使 它 在 实用 上 未 必 优 于 其 他 方 
法 . 

以 上 所 谈 的 是 Bayes 学 派 及 其 批评 者 在 第 一 个 根本 点 (在 考 
虑 6 的 推断 问题 时 应 否 假定 9 有 先 验 分布 ) 上 的 分 歧 ， 下 面 来 讨 
论 另 一 个 方面 , 印 决定 一 个 方法 的 信 度 的 “事前 ”和 “事后 ” 

Neyman-Pearson 的 假设 检验 理论 与 Neyman 的 区 间 估 计 
型 论 可 以 算是 古典 方法 的 代表 ， 在 Neyman-Pearson 的 假设 检 
验 理 论 中 , 指定 一 个 检验 水 平 a, 就 是 犯 第 一 种 错误 的 概率 ， 注 意 
a 是 在 获得 样本 z 以 前 就 指定 了 的 。 如 果 抽 样 得 到 z， 而 零 假设 
应 被 接受 , 则 不 论 = 如 何 , 犯错 误 的 可 能 性 也 可 以 称 为 在 这 个 特定 
问题 中 的 信 度 总 是 1 一 a、 Bayes 学 派 则 认为 不 然 ， 例 如， 检验 
N(0, DRH 9<0, 抽样 一 次 , 则 得 到 “= —109 而 接受 9<0, 其 
“信和 度 ” 应 比 在 得 到 o 一 2 时 接受 9<0 为 高 ， 用 Bayes 方法 可 以 
给 这 一 点 以 自然 的 解释 ， 下面 的 例子 更 生动 地 表明 这 一 点 . 

Bay o uh n R(0— 1, 0-1) 的 ua. go, 要 作 o 
的 置信 系数 为 0.95 的 置信 区 间 . 取 ”一 25, ik Neyman 理论 , 不 
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难得 出 0:50.06 就 是 这 样 -个 置信 区 闻 , 此 处 
TO 
这 里 可 以 把 0.95 看 作 是 “信和 度 ”, 它 是 在 抽样 前 就 定 下 了 的 . 现 设 
甲 、 乙 两 人 分 别 抽样 35 次 ,得 
H. min{z} 23.1, maxíz;-3.2; 
à. miníz) =3.0, maxíz) =3.96. 
从 甲 得 到 的 样本 看 ,我 们 只 能 扒 知 9 落 在 


I... 
3.2 一 可 一 2.7 E 3.102 —3.6 


之 间 ， 换 句 话说 , 由 于 我 们 不 巧 得 到 这 么 “ 坏 ” 的 一 组 桩 本 , 我 们 对 
6 的 了 解 比 抽 洋 前 并 不 多 出 多 少 ， 在 这 种 情况 下 ， 仍 认定 区 间 
1 (8.143.2) 40.050 il (8.094, 3.206) 有 “信和 度 ”0.95 是 不 可 信 
的 ， 反 之 ,就 乙 所 得 的 样本 而 言 ,我 们 有 100% 的 把 握 断 言 9 在 区 
间 (3.46, 3.50) 之 内 ， 因此, 就 乙 而 言 ,断言 0 落 在 示 (8.0+3.96) 


--0.056 即 (3.424 3.536) > py rg np Ag RS E y 9575 E 38 JE np E 
Hy. 本 例 突 出 地 说 明了 :不 考虑 具体 抽样 结果 ,而 在 事前 规定 一 个 
信和 度 , 则 会 导致 很 不 合理 的 结果 . 当然 ,在 古典 方法 中 时 信 度 的 解 
释 是 建立 在 大 量 重 复 而 产生 的 频率 的 基础 上 .但 在 "一 次 性 的 场 
合 , 这 种 解释 是 不 适用 的 . | 

相反 , 在 Bayes 方法 之 下 , 推断 的 信 度 有 一 种 事后 “的 性 质 ， 
因此 较为 合理 和 自然 。 这 个 差别 的 产生 , 是 因为 Bayes 学 者 对 于 
样本 的 作用 及 推断 的 意义 的 理解 与 古典 方法 根本 不 同 . 

Bayes 学 派 认 为 ,关于 参数 4 的 知识 , 完全 包含 于 其 概率 分 布 
中 .是 抽样 兽 ， 知 道 9 的 先 验 分 布 为 鼠 (O) ， 这 包含 了 到 当时 为 
, 我 们 对 妇 的 全 部 认识 .得 出 样本 后 ,9 有 条 件 分 布 二 (612)， 
这 概括 了 我 们 对 9 的 新 认识 .因此 ,对 Bayes 学 者 而 言 , 获得 样本 
2 的 净 效 果 只 在 于 将 8 的 分 布 由 HOA H (012). 由 于 后 者 
是 在 获得 % 以 后 定 出 的 ， 故 通称 为 “后 验 分 布 ”( 了 Posterior distri- 
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bution)， 对 8 所 作 的 任何 推断 及 其 信 度 ,都 完全 基于 且 仅 基于 这 
个 后 验 分 布 吾 (01z). A, 精度 将 与 样本 2 有 关 ( 当 然 , 也 与 先 


验 分 布 H AR), 因而 必然 是 “事后 "的 ， 拿 前 面 所 举 的 B(9 一 去 ， 
6 十 亏 ) 的 区 间 估计 的 例子 来 说， 如 果 假 定 事前 对 0 所 知 甚 少 因而 


可 以 比较 合理 地 认定 它 在 某 一 充分 大 的 区 间 ( 一 4，4) 内 “同等 可 
8E", 即 认为 9 KERSEN ROA, A), 4 充分 大 , 则 不 难 算出 ， 
在 得 到 甲 、 乙 的 样本 后 ,各 自 算出 的 后 验 分 布 为 : 

FR. AR(2.7, 3.6); Z: R(3.46, 3.50), 因此 对 于 由 古典 方 
法 算出 的 区 间 , 甲乙 用 Bayes 法 分 别 算出 其 可 信和 度 为 : 

Hi. (3.206 —3.094)/(8.6 —2.7) 20.124, Z: 1， 这 当然 是 
一 个 更 易于 为 人 们 接受 的 合理 解释 . 但 是 也 要 说 明 : 虽然 一 般 说 
来 ， 信 度 的 事后 确定 较 事 前 确定 为 合理 因而 在 这 方面 对 古典 方法 
的 批评 是 中 肯 的 .但 迄今 并 没有 找到 一 种 在 各 方面 看 来 完全 合理 
和 有 效 的 确定 事后 信 度 的 方法 , 包括 Bayes 方法 在 内 ， 问 题 在 于 : 
据 以 确定 事后 信 度 的 后 验 分 布 H (0| o) 依赖 于 先 验 分 布 H (9) , 而 
后 者 如 前 所 述 ， 无 论 从 其 基础 与 确定 方法 上 说 ， 都 存在 很 大 问 
题 . 

在 这 里 还 要 提 到 : 在 第 一 章 中 ,我 们 曾 把 Bayes 方法 理解 为 判 
决 函 激 的 一 种 优良 性 准则 ， 这 里 我 们 又 把 Bayes 方法 解释 为 由 
H (6)8] H (8|) SER UL EY 0 的 推断 完全 基于 HO |a) x 
原则 .在 下 节 中 要 证 明 这 两 个 解释 是 一 致 的 | 

以 上 是 关于 Bayes 方法 的 一 个 简单 的 评述 ， 更 细致 的 论述 可 
参看 有 关 专 著 , mOl BIRB. 不 论 如 何 ,有 一 点 可 能 是 统计 学 
界 全 都 能 同意 的 ， 即 Bayo 学 派 确实 已 成 长 为 统计 中 一 个 很 有 影 
响 和 很 有 力量 的 学 派 ， 其 势头 看 来 仍 在 增长 ， 非 Bayes 学 派 即使 
对 Bayes 学 派 的 基本 出 发 点 持 保留 以 至 批评 的 态度 ， 但 他 们 也 伪 
用 Bayes 方法 去 处 理 一 些 统计 理论 问题 ,因为 事实 证 明 ，Bayes 方 
法 已 成 为 理论 统计 的 一 个 重要 工具 ， 它 可 以 作为 理论 论证 及 寻找 
某 种 最 优 解 的 有 力 手 段 . 
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$ 2 基本 定义 与 后 验 风险 最 小 原理 


本 节 的 目的 是 引进 Bayes 方法 的 基本 概念 。 在 这 方面 , 局 限 
于 点 估计 并 不 能 带 来 多 少 方便 ， 因 些 我们 就 一 般 的 统计 判决 问题 
来 讨论 . 


EFEX 


设 变 量 AX RERESIK, Za), 分 布 族 为 P= (Pe, 0E 
0), Zo 为 四 的 某 些 子 集 构 成 的 o- 域 ,行动 空间 为 (4， 2,0, 损失 
KAAN LO, a), 4g SY Ox A, 这 是 一 个 非 负 的 、25ge x 9%g4- 可 测 
的 函数 .对 于 任 一 判决 函数 6, 以 R(CO, 5) 记 其 风险 函数 . 

定义 2.1 Zo 上 任 一 概率 测度 H $j27y E 0 B] — 7h LEX 
^; 又 若 5 为 一 判决 函数 , 则 


Ra(8) =Í R (8, dH (8) (2.1) 


称 为 8 在 先 验 分 布 H 之 下 的 Bayes 风险 . 

以 乡 记 一 族 判 决 函 数 ， 例 如 乡 可 凡是 一 切 判决 函数 或 一 切 
非 随机 化 判决 函数 , 等 等 . 

定义 2.2 若 存 在 SzE 多 ,使 

Ra(Sn)—int{Ra(6):65€ 2j 

则 称 On 为 先 验 分 布 卫 之 下 的 Bayes 解 . 在 点 估计 问题 中 , Bayes 
解说 称 为 Bayes 估计 ， 

在 Bayes 问题 中 ,9 有 某 种 概率 分 布 耳 、 而 当 给 定时 ,我 们 
又 知道 了 到 的 条 件 分 布 Pe 这 就 足以 确定 O, X) 的 联合 分 布 
P'CER Zox Ba 上 的 一 个 概率 分 布 , 由 公式 


P*(O) = | ,Pi(CyaH (0), OE Bx Ba (2.2) 


定义 ， 此 处 Co.—i(c:2€ 25 W, s) E0}. dex ERAT, 
的 边缘 分 布 由 下 式 给 出 ; 
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P(4) - P(X € 4) - P(0x 4) - | P/LO4H (9), (2.8) 

其 中 4€4, 2 

现在 我 们 可 以 给 出 极其 重要 的 “后 验 分 布 " 的 定义 。 既然 O, 
孚 ) 作 为 随机 变量 有 一 定 的 分 布 P*, 我 们 就 可 以 考虑 在 给 定子 下 
0 的 条 件 分 布 ， 这 个 条 件 分 布 就 称 为 8 的 后 验 分 布 . 

定义 2.3 ” 设 给 定 节 时 6 的 (正则 ) 条 件 概率 分 布 存 在 , 就 是 
说 ,车 存在 一 个 定义 于 Fux 秋 上 的 函数 囊 (.|. )， 满 足以 下 两 条 
p. | 

(D xjBbER ecA4, H(|o 7s 上 的 一 概率 测度 ， 对 园 
定 的 BE26, H(B|-)Jy Za nf ill p 2c. 
| (2) IEH BE Zo, OCE Ba, H 

P'(Bx0) - | H(Bl)aP (a), 


(P* P 280 h (2.2) , (2.8) £r RO UE HL C |o) 为 在 得 到 样本 2 的 
条 件 下 9 的 后 验 分 布 (注意 后 验 分 布 也 与 9 的 先 验 分 布 了 有 关 ). 
Æ (0, Zo) 为 欧 氏 这 个 最 常见 的 情况 下 ， 根 据 第 一 童 定理 


况 下 ， 上 述 后 验 分 布 可 明确 写 出 ， 设 色 一 (Pu BEO) «p, ux 
Ba 上 的 -有限 测度 ， 记 jz 9) 一 4Pe(z)/au。 册 不 难 直接 验 
Xr l i 
H(B|) -| fie, DAHO) |se, DAH (0), BEZo 

| (0 Q4 
[ 当 | fe, DAHO - 0 xx co nt, W Zo s RU WR Ao, dm 
HC), EK H 1o) | Bs v H Zo 上 的 ec- 有 限 测度 ， 五 人 < 
H dH (6) /d»- (8), WIEM o HC |o) &v, B. 

dH (012) /d» — fs, hO) / | Jæ, P hp) dP. (2.5) 


1) 在 此 有 一 个 细节 需要 提 及 ,在 验证 中 需要 明确 : f(x, 0) TRA 2, x ds-n]otl el 
数 。 这 一 点 不 难 从 Radom-Nikodym 定理 的 证 明 中 看 出 (还 要 用 到 条 件 : 对 任 
1 CE Za Pol(0) 为 9 W Zo- TWR). . : 
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注意 , 虽然 Bayes 解 的 定义 2.2 涉 及 一 定 的 损失 函数 ,但 导致 
后 验 分 布 这 个 重要 概念 的 过 程 ， 则 与 行动 空间 、 损 失 函 数 完全 无 
X. 在 4.1 中 我 们 曾 着 重 指出 : 在 Bayes 学 派 看 来 , 获得 样本 z 的 
效果 只 在 于 将 我 们 关于 98 的 认识 由 HO SR HOGClIs), 以 后 
硕 作 的 任何 推断 ,只 基于 HO[aS). 下 面 看 一 个 简单 例子 . 

例 2.1 为 估计 荣 事 件 的 概率 9, 作 % 次 独立 试验 , 发 现 该 事 
作出 现世 次 关于 0 的 先 验 分 布 ， 采 用 “同等 无 知 ” (equal 
ignorance) 的 原则 ， 刀 先天 地 认为 6 取 [0， 习 内 任何 值 有 同等 可 
能 , 就 是 说 , NCO By ouo 4g H 7g RO, 1). BIERE O R X 
的 分 布 为 二 项 分 布 Ba, 9), 按 (2.5) 式 , 不 难 算出 给 定 X —v IB, 
0 Bj ge us PE ON LL 测度 ) 为 


h(8|v) 一 en )ra- prs 


QA 89€[0, 1], EJ; 0), XXJé — T ERE m/n 处 的 单 峰 分 布 ， 
在 做 试验 前 ,我 们 只 知道 9 在 [0, 切 各 处 有 同样 的 可 能 性 ,经 过 这 
验 得 到 zw 后 ,9 仍 有 可 能 取 [o, 要 内 的 任何 值 ,但 已 不 是 同等 可 能 ， 
而 是 较 集 中 在 点 v/n 附近 ， 这样 ,总 的 说 来 ,关于 83 POR, DD 
验 前 要 确切 一 些 

至 于 怎样 将 上 bz) 用 于 2 的 统计 推断 问题 ， 那 当然 依 问题 训 
性 质 和 使 用 者 的 选择 而 定 ， 例 如 : 

(1) 车 要 作 9 的 点 估计 ,可 以 使 用 hOB1z) 的 最 大 值 点 即 2 nm， 
这 就 是 通常 使 用 的 估计 量 , 也 可 以 使 用 后 验 分 布 的 均值 , 为 (2 十 1) 
/n+2). 

(2) 若 要 作 9 Bp] dio, 则 可 以 选择 一 个 尽 可 能 短 的 区 时 ， 
但 包含 1 一 a 这 人 么 多 的 后 验 概率 . 由 单 蜂 性 ， 不 难 知 道 这 个 区 河 
[az, 0: 是 通过 以 下 方程 定 出 的 : 


Aa, |t) - Ab, |a), | &(612)d8—1—a. 


这 里 的 1 一 a 并 不 就 是 Neyman 意义 下 的 置信 系数 ， 但 这 种 “事后 
精 谍 ” 式 的 作法 给 入 以 更 为 合理 的 印 旬 ， 
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(D) 车 要 检验 假设 9<9o， 我 们 可 以 算出 它 的 后 验 概率 
人 A012)6. 
可 以 在 事先 选 定 一 个 界限 a， 当 这 个 概率 小 于 a 时 , 就 否定 假设 


在 这 里 ,a 与 Neyman-Pearson 理论 中 的 检验 水 平 也 没有 联系 . 
这 个 简单 例子 表明 Bayes 方法 与 古典 方法 确 有 根本 的 不 同 . 


二 、 后 验 风险 最 小 的 原则 

沿用 前 而 的 记号 ， 并 设 后 验 分 布 了 ("| ") 存 在 ， 设 样本 为 
而 采取 行动 o, 齐 受 的 损失 为 (9, a). 因为 在 得 到 2 的 条 件 下 ， 
9 的 条 件 分 布 为 HC la), AERA a RET, ARMI a 
而 遭受 的 条 件 平均 损失 为 ]。 LO, @) 甩 (G9|z)， 它 称 为 后 验 风 丛 


(Posterior risk), 
4EX.2.4 设 65 为 非 随机 化 判决 函数 , 则 称 
R&(8, £) -| (8, 8(2)) H (d |2) (2.6) 
为 得 到 样本 2 时 ,8 的 后 验 风 险 . 当然 ,后 验 风 险 还 二 损 失 函 数 及 
先 验 分 布 有 关 . 
在 随机 化 判决 函数 6(* | .的 场合 ,后 验 风 险 相应 地 定义 为 . 
Ra, 四 一 | [| L0, (dala) |E eD 
易 见 
Ra (5) = E'LL(0, 5(X))] - E' LE" (L(0, 8(X))] X)] 


-| [E no, 50) Bala) aP c) 
-| Ra, »)dP(). (2.8) 


此 处 E" 表示 一 切 计算 是 在 (2, X)BIBE RA Pao rz 
行 的 . TE O 为 随机 化 判决 函数 的 场合 ,读者 容易 验证 (2.8) 式 也 成 
X. 现在 容易 证 明 下 面 的 定理 . 

定理 2.1 RF E BCZ, P(B)—-0, 使 当 zEB 时 ， 极 值 
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inf{| 10, a) H (d6|a): ac A eit a—a,C 4 处 达到 ， 任 取 
QoE4, 令 
Oz, M vE B; 
TO DU M sc B, 
则 当 SNC, Zol, ZZ) 可 测 时 ， 它 就 是 在 一 切 判决 函数 类 
(包括 随机 化 的 ) 中 的 Bayes f. 
证 设 6C 1,) 为 任 一 判决 函数 , 则 当 wEB 时 ,有 


RaQ*, 2) - | [È 16, @8°(dals) |H aola) 


(2.9) 


- f. f I (6, a) H (d8 |x) Ja" (da |%) 
>| Ra, z)' (da |a) = Ra, o), (2.10) 


因为 P(B)=0, i (2.10), (2.8) 可 立 得 Ru (9) 2Rg(8). 由 8 的 
任意 性 , 即 证 明了 8 为 Bayos ff. 
这 个 定理 显示 一 个 重要 事实 , 即 在 求 Bayes 解 时 , 可 以 只 考虑 

非 随 机 化 的 判决 函数 . 当然, 这 个 结论 是 建筑 在 前 述 极 值 能 (几乎 
处 处 ) 达 到 的 基础 上 ， 然 而, 即使 这 一 点 不 对 , 但 局 限于 非 随机 化 
的 判决 函数 仍然 正确 . 事实 上 , 任 给 随机 化 的 判决 函数 5", 将 样本 
空间 A 分 为 两 部 分 爷 1 与 和 如 下 ; 当 wE 好 时 , 极 值 

inf IRZO a) H (d| x): aca} 
EZ i, E 

— Rul”, w) -| | | .zc， a) H (d9 |æ) Jà*(da|z) 
>| [| 10, az) H (d8 |a) |ò" (da| 2) 
=| LØ, a) H ala). (2.11) 


E aC As 时 ， 对 任何 GC AÀ, 有 
e 171* 





J ZO, a) H (d612) 


—inf {| zee, a^).H (d| æ); aea} 4q(a), 


这 将 有 Rg(9*,2)79g(2) EER). 
BS ££f] 2 € 23, 可 找到 a, CA, 导致 
Ry(ò*, w) >| 20, a,) H (40 |2) (2.12) 


定义 非 随 机 化 的 判决 函数 ô (e) 一 ao WA DS (2 11) 5 (2.12) , 有 

Ru(6, 2) 三 Rx(6”, w)， 且 不 等 号 当 wE2s 时 成 立 ， (2.18) 
因而 Ra(6) <Ra (0. 这 就 是 说 , 不 论 给 出 怎样 的 随机 化 判决 函 
数 5 ,总 可 以 找到 非 随机 化 的 判决 函数 8, 其 Bayes 风险 不 超过 5” 
的 Bayes 风险 . 

由 〈《2.13) 进 一 步 可 知 , 若 PC(A 2) 0,9 Ra(ð)<Ra (ð). W 
而 除非 对 一 切 9 都 有 Ra(8) =, 否则, Bayes 解 不 可 能 存在 ， 所 
以 , 在 排除 这 个 无 兴趣 的 例外 情况 后 , 可 以 断言 极 值 


inf IR a) H (46 |o) :a€ A | (2.14) 


对 几乎 每 个 z( 测 度 P)SSREGA SJ, 这 是 Bayes 解 存在 的 充 要 条 件 . 
当 这 个 条 件 满足 时 ，Bayes 解 必然 对 几乎 每 个 都 能 达到 这 个 极 
值 ， 以 上 的 讨论 可 总 结 为 下 面 的 定理 , 它 就 是 著名 的 “后 验 风 险 最 
小 原则 ”. | 

定理 2.2 车 存 在 判决 函数 6, 导致 

Ra (8) «oo, |. (2.15) 

则 Bayes 解 存在 的 充 要 条 件 为 :对 几乎 每 个 zE 人 外 (测度 P), RA 
(2.14) 都 能 达到 . 当 这 条 件 满足 时 , 判决 函数 6 为 Bayes 解 的 充 
要 条 件 是 : 对 几乎 每 个 > 都 有 8(z) 一 ca， 其 中 cz 使 极 值 (2.14) 达 
到 . 

应 当 指出 , 在 上 面 的 讨论 中 还 遗留 下 来 一 个 问题 ， 即 cs 作为 
(2, .)5) CA, Ba) 的 可 测 性 .要 证 明 这 一 点 , 需要 对 名 能 拓扑 
结构 与 损失 函数 虐 的 性 质 作 一 些 假定 , 并 牵涉 一 些 繁琐 的 论证 ， 
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在 此 我 们 就 不 叙述 这 些 细节 了 . 

定理 2.2 还 有 这 样 一 个 解释 : 就 定义 4.2 的 Bayes 解 而 言 , 它 
可 以 丝毫 不 涉及 9 是否 能 看 作 随 机 变量 以 及 先 验 分 布 是 否 存 在 及 
如 何 确定 这 些 问 题 ， 这 因为 Bayes 风险 Ra (3) 可 以 简单 地 解释 为 
风险 函数 RO, 5) 的 一 种 加 权 平 均 ， 但 在 4.1 节 中 ， 我 们 曾 指 出 
Bayes 方法 的 基本 点 在 于 : 在 得 到 样本 zw 后 ,统计 推断 完全 基于 后 
验 分 布 . 由 定理 2.2 知 ,在 条 件 (2. 巧 ) 之 下 , 定义 4.2 中 的 Bayes 
解 确实 只 依赖 于 后 验 分 布 ( 因 为 后 验 风险 只 依赖 于 后 验 分 布 )， 因 
此 , 按 定义 4.2 的 Bayes 解 并 不 违背 4.1 节 中 所 阅 述 的 基本 原则 . 


三 、Bayes 方法 与 充分 性 


如 581 所 述 , Bayes 方法 提出 了 一 种 新 的 统计 推断 原则 ， 我 们 
希望 , 这 种 推断 原则 不 应 与 一 些 “ 看 来 没有 疑问 ”的 原则 发 生 冲 突 ， 
这 些 原 则 之 一 是 充分 性 原则 如 在 第 一 章 8 6 所 述 ， inim 
指 当 存在 一 个 充分 统计 量 tw) 时 ， 统计 推断 可 以 只 基于 tc) 

们 来 证 明 : Bayes 方法 确实 不 与 充分 性 原则 冲突 . 

定理 2.3 沿用 前 面 的 记号 ， 且 设 (P, OECO) «nu, uH Ba 
上 的 oc- 有 限 测度 ， 则 当 存 在 一 个 充分 统计 量 1+ 时， 后 验 分 布 
H (* |£) RRT tæ), BA EC | 6()) REGIS, m EEG 1033 
ERE t Bp 9 的 条 件 分 布 . 

证 iB (s, 9)==dPo(w) /dp, 根 据 因子 判别 定理 ,有 
f (s, 0)—glt, Ohl). (2.16) 

本 来 (2.16) 只 是 当 0 固定 时 , 对 ”几乎 处 处 (测度 Po) 成 立 ， 但 在 
用 公式 (2. 分 计算 后 验 分 布 时 ， 对 fo, 0) 的 取 法 并 无 限制 , 故 可 
以 就 取 (2.16) 的 右边 为 jc， 的 以 用 于 (2. 和 .不 失 普遍 性 我 们 可 
设 对 一 切 2€ 2 H <ha), 记 


C= faf ge 6)dH(0) =0 或 se, 
按 公 式 (2.4), 有 


e 173- 





( ott, DO /| ot, DAO, 
当 t) € C; 
HQ), io) EO, 
它 显然 只 依赖 于 Co) 。 这 证 明了 定 现 的 前 一 结论 ， 后 一 结论 直 


HCB[o) = 


” 接 由 第 一 章 (6.18) 式 可 每 出 . 


这 个 定理 的 含义 是 清楚 的 ， 如 果 t 是 一 个 充分 统计 量 ， 转 移 
到 的 概率 空间 (2 ， 有 罗 -， 25. ATER m0 后， 算出 to) — to, 
而 丢掉 vo, MFE t= i 的 条 件 下 算出 的 9 的 条 件 ( 即 后 验 ) 分 布 就 是 
在 给 定 X =r 的 条 件 下 所 算出 的 9 的 条 件 分 布 。 因此 基于 zo 或 
基于 如 所 能 作 的 Bayes 推断 是 一 样 的 . 

可 以 证 明 ， 在 一 定 的 条 件 下 定理 2.3 的 逆 也 成 立 ， 这 可 参看 
[7]， 不 过 ,应 当 指 出 , 在 [ 们 中 对 这 个 结果 的 陈述 和 证 明 ， 从 数学 
向 严格 性 来 看 , 却 存在 着 显然 的 缺陷 , 这 种 缺陷 可 以 弥补 , 但 牵涉 
~- 些 复杂 的 细节 , 此 处 从 覆 . 


$3 平方 及 绝对 值 损 失 下 的 Bayes 估计 - 


后 验 风险 最 小 原则 将 Bayes 解 归 结 为 寻求 (2.14) 的 极 值 点 ， 
具体 求解 当然 与 分 布 族 乡 、 先 验 分 布 吾 、 损 失 函 数 上 及 所 得 样本 
有 关 . 特 虽 是 工 的 形式 关系 很 大 , 当 工 有 比较 简单 的 形状 , 尤其 
是 了 为 平方 损失 这 个 重要 情况 时 , 可 以 得 出 具体 的 公式 . 


一 、 平 方 损失 下 的 Bayes 估计 


设 9 为 定义 于 参数 空间 O 上 的 实 值 函 数 ， 行 动 空间 为 《一 ce， 
co) ,损失 函数 为 E 
L(8,a)—X(8)[g(.) a]? (0«A(0 <), (3.1) 
TR REAR AA oS RR PI Ai, g 0 的 点 佑 计 . 
引 理 3. 1 (Blackwell, Girshicek'*) 设 工 给 定 如 (3.1), v Jg 
Bo 上 的 一 个 概 诗 测度 ,而 
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JoO=| L0, a)dv (0), (8.2) 
HFE ata 导致 on) eo f (22) , 则 对 一切 @， ^4 f (a) «eo, 
H. | | 
[ 00d» (8) «co. (3.8) 
证 ”为 确定 计 , 设 a <a, 先 设 21-0 a, 则 存在 pc (0, 1), 
使 a-pargas q=1—p, MW 
(g(8) —a)*«p(g(8) a)? +q (g(8) 一 ca)3. "4. 
WimBG.219 . uu 
f (a) «pf (a1) +g f (a3) «eo, 
HiT (a1, as) 内 找 四 个 点 az Q4 C3 a4, 使 
da755 04, G3, OsEa3--G43- ahta, +0, 
则 由 关系 式 
(da — a4) [ (as -- a4) —29 (8) = (as — g (8))? — (a4 — g (0)? 
K f (aa) «oo, f (a4) «oo, assa, 知 


-eo«[ X00) (as taa) —29(8)]d»()«co, ^— (8.4) 
同 理 得 
-<| At [(a,--aj) —29(8)]d»(8)-^co, (8.5) 
Ei (3.4), (8.5), asc au al-- d, X A(G) 2-0, 48 (3.8), (8.3) AFANI 
(3.4) 得 
eo« | a (6) 9 (8)d» (6) co, 
[MOPO pt > 
因而 证 明了 
i -<Í x6) g(8)d»(8)-oo (i=0, 1, 2). (8.6 
根据 (3.6), 对 任何 a, X4 f (a) <co。 引 理 证 毕 | 
TE — 9] a, F f (a) «oo 成 立 的 场合 , 不 难得 出 f(q) 的 唯一 
» 1758. 





极 小 值 点 为 
a | XCOg0) dr(0) /| X690. 3.7) 
特别 是 在 (9) = 时 ， 
a* =| gy(0)av(0) 
即 为 9(9) 在 0 的 分 布 为 > 时 的 均值. 
把 这 个 引 理 与 定理 2.1 结合 , 并 沿用 前 面 的 记号 , 立 得 
定理 3.1 设 损失 函数 为 3. 了， 先 验 分 布 为 及 ,并 记 
Wla) =| AO) (g(0) —a) H (d0|2), 
则 g (8) RI Bayes 估计 为 
(| MOOH (aola) / | MO) Edla), 


当 对 一 切 a, W (a) <0 时 ; 
òn (2) [5 £W.a())«e,miW,(a)-e 9:2 





M a a(2); 
任意 指定 的 a^, 当 对 一 切 w Wela) = 时 . 
对 一 切 4 有 Wla) — oo 的 这 种 例子 不 难 举 出 ; 刺 。(c) 只 在 一 点 不 
为 ce 的 一 个 例子 如 下 : X-—N(G, 1), HNO0, 1), AO) =e, 
g(0) =", FARER REE. 


二 、 绝 对 值 损失 下 的 Bayes 估计 

设 损失 函数 为 

L(0, a) -X(0)|]g(8) —a| | (0-—AX(8) —oo), (3.9) 

8 4 (7 | AO 160) -ald» (0), 此 处 w X Bo 上 的 一 个 概率 
测度, 则 不 难 证 明 与 引 理 3.1 完全 一 样 的 结论 (这 个 简单 证 明 贸 给 
读者 )， 再 结合 定理 2.1 与 概率 论 中 众所周知 的 下 述 事实 :车 为 
一 维 变量 而 mn 为 其 中 的 位 数 ， 则 如 (12 一 mm|)< 瑟 (|G -ol) 对 任 
何 o, 邵 可 得 到 下 面 的 定 更 

定理 3.2 设 损失 函数 为 (3.9), 先 验 分 布 为 Ha 


» 475。 





Wla) 一 | (6190 -al H (409), 


并 在 | AOH (d6 |o) «co 的 情况 下 ， 在 Zo 上 定义 概率 测度 如 
T: 
n(Blo) =È sO) (402) / [4 Hd|), Be, 
(3.10) 
则 g (8) itj Bayes 估计 为 
,9(0) 的 中 位 数 , 当 9 有 分 布 7C* 1o) RI, 
EX — H a, Wala) <o; 
õa (e) 一 1 a(2) , Æ W.(a(2)) «eo, Ifi 34 a: a() 
时 , Wala) = oo; 
‘任意 指定 的 oo 若 对 一 切 a, Wala) — eo. 
比 (8.9) 更 一 般 的 损失 函数 
OLO a 当 a<g (0); 
(0, a) = 
A(8)g (a— g(8)) , 4 a7 g(0). 
也 可 以 类 似 地 处 理 ,此 处 2E (0, 二 为 常数 ,9 一 1 一 p， 在 此 需要 用 
到 如 下 的 引 理 . 
引 理 3.2 k FAEERE ZAH, EUZ <. EX 
dO q|" Qm) dF G) +p Gu) (o) 
(—99«pu oo), 
则 G 的 最 小 值 在 4 为 2 的 Pp- 分 位 数 处 达到 . 
我 们 把 这 个 引 理 的 证 明 以 及 由 之 而 导出 的 Bayes 估计 的 讨 
论 ,都 留 给 读者 去 完成 . 
上 面 提 到 的 几 个 损失 函数 都 是 下 述 情况 的 特例 ; 


0，6) -4(80)W (g(8) —o), (3.11) 
x H 0-A(8) «oco, WAAI —oo«t«oo 上 的 非 负 凸 函数 , H. 
lim W (1) co, 


lt |20 


设 v 为 Be 上 的 一 个 概率 分 布 , 而 令 
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Fà =| NOWO) -à)dv (5), (3.13) 
jl ZjuE C= {af laco 为 凸 集 ， 且 若 O 不止 包 含 一 点 ， 则 了 在 
C 二 为 凸 画 数 ， 再 注意 到 (用 Fafou 引 理 ) lim f (a) 一 ce (或 更 一 
BUE, Z ao 28 O 的 一 个 边界 点 且 不 属于 CC 则 lim f(2) 99), WI 
知 了 必 在 O 上 达到 最 小 值 ， 由 此 推出 在 上 述 凸 损失 下 Bayes fh 
WHERE, M W dk (moo, oo) 上 处 处 可 微 时 ， 使 (3.12) 中 的 
f (2) 达到 极 小 的 w 可 通过 解 方程 
L0) W'(g(0) —a)d» (8) =0 (8.18) 
而 得 到 . 


=., 若干 例子 


例 3.1 i X-—Bí(n, 80), 0«60«1,0 的 先 验 分 布 为 RC0, 了 1)， 

TRKA LO, a) 一 (0 一 @)”, 故 问题 是 估计 9. 前 面 在 例 2.1 中 

已 指出 的 后 验 分 布 为 B 分 布 BC% 十 1, ww 一 zw 十 1)。 此 分 布 的 均值 
HJ 0 在 上 述 先 验 分 布 之 下 的 Bayes 估计 为 








4 十 工 | 
Og (c) 一 "ET (3.14) 
这 估计 的 风险 函数 为 
no, no -& (23-4) 


= [n8 (1.— 8) + (1 —28)?] / (n4-2)3. 
因而 算出 ôn 的 Bayes 风险 为 


Ru (èn) =| RO, 83)d8 = zzy 


通常 估计 X/n 的 Bayes 风险 算得 为 s, ERER, 估计 
(3.19) 有 这 样 一 个 优点 ， 当 “一 0 或 邑 时 ,起 通 常 估计 将 给 出 0 或 
1 为 6 的 估计 值 。 (3.14) 刚 给 出 接近 于 0 或 1 的 什 为 其 估计 , 这 
往往 显得 更 合理 些 。 


* 178-« 





现 车 到 8 的 先 验 分 布 为 8- 分 布 Bla, 5), 即 对 上 测度 有 密度 
(e+ 及 po NN 
qur *(4—8)*(4 00-1, fb W 0), (3.15) 
其 中 a0, 570 为 常数 ， 则 易 见 在 得 出 样本 ”时 ，0 的 后 验 密度 
为 Blaute, nn 十 b 一 2)， 此 分 布 的 均值 即 PTE RA 
(3.15 Z FH) Bayes 估计 为 


daa) — E (8.16) 
简单 计算 得 出 u.s 的 风险 函数 为 
RØ, Sas) - i ra-o (E 0) 
5 (1— ee aj? (8.17) 
òa,» 的 Bayes 风险 为 
O Ruud =S RO, bod 7 3D ge 0) ta 
— ab/ [(n4-a 4-5) (a4-b -- 1) (a-- b) ]., (3.18) 
特别 是 当 ambo 5/2 时 ,得 估计 | 
Bs vs (m) = (3.19) 
其 风险 函数 为 一 常数 
RO, Sya mia) 一 一 一 (3.20) 


A(n-- N/ n)? * 

本 例 中 的 先 验 分 布 一 一 8 分 布 有 这 样 一 个 特点 ， 就 是 不 论 样 
本 2 如何, 后 验 分 布 总 是 与 先 验 分 布 同属 于 一 个 族 , 在 此 为 B aA 
Jk. 这 种 先 验 分 布 族 叫 共 罗 先 验 分 布 族 (family of conjugate 
prior distributions)。 它 在 理论 上 有 重要 意义 .我 们 将 在 下 节 对 
这 种 先 验 分 布 族 作 更 仔细 的 讨论 . 

例 3.2 i X—(Xi e, X), Xi, c, XB NO, 1) 
的 iid, 样本 , DUR ARO LO, a) —- (0 — a, 先 验 分 布 为 入 (0， 
T°), ÆR 0 HY Bayes fil, s 
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Sie Ti, tu, X5, abc Xo fg ed E 


er exp 8/2 (7 exp( - $0 6/2), 
并 注意 


n | 2. 9 
9/7 3o, 0y— Irw (8-72) +Ø, 











其 中 0 与 0 363, DEBRE o 8 WERE RIN ， 
LE) (RU Bib, EBAN AERAN). 由 
— 此 立即 得 到 9 的 Bayes 估计 为 





NTT 
dr(2) = gom (3.21) 
其 风险 函数 不 难 算 得 为 
_ Qz* 4- 9?) 
RO, 84) Go (3.22) 
òr 的 Bayes 风险 为 
Rx(67) — rr (3.23) 


由 (3.21) 看 出 ，Bayes 估计 5. 是 通常 估计 3 的 一 种 压缩 , 压缩 因 
子 为 wr2/(I+nra)。 这 一 点 是 不 难 解释 的 : 先 验 分 布 Y(0, z) 在 
0 附近 的 密度 较 大 ， 这 意味 着 我 们 先天 地 认为 9 在 0 附近 的 可 能 
HRK, 因而 将 纯 由 祥 本 作出 的 估计 Z 往 原点 0 方向 拉 一 些 , v fx 
小 拉 得 愈 多 . 另 一 方面 , 当 ” 增 加 时 , 压缩 因 予 也 增加 。 这 表明 : 
随 着 抽样 次 数 % 的 增加 , 样本 信息 的 相对 重要 性 愈 来 愈 大 ,而 先 验 
信息 的 相对 重要 性 则 愈 来 愈 小 ， 又 当 ro 时 (这 可 以 解释 为 先 
验 信息 愈 来 愈 少 )，5: aussi z, 其 风险 按 (3.22) 则 趋 
于 估计 量 x 的 风 gl 一 . 

ATES PENKA 峰 分 布 ， 可 知 即 使 将 损失 函数 由 
(6—«)? gk 9g W (18—a|), ort WOE $20 非 降 , 则 在 先 验 分 布 
N(, 727 T.,0 的 Bayes 估计 仍 为 (3.21) 的 ör (但 风险 和 Bayes 
风险 当然 有 变化 ). 这 一 点 的 详细 论证 留 给 读者 . 
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例 3.3 我 们 回忆 , 所 谓 Gamma 分 布 Gla, B), 是 指 具 密度 

(对 二 测度 ) 
poy ( 当 w>0o<0 时 为 9)， 

这 里 wa>0，B>0 为 常数 . 

HdRX-(X, e, XQ, Xa oy Xna HMHH 
G(0, 1) 的 iid, TER, $ EE | 

g(0) — Po( .X 47 fo) —e7*h. 
这 可 解释 为 元 件 寿 命 超过 如 的 概率 ， 设 损失 函数 为 
L(0, a) — (g(8) —a?, 

这 表示 问题 为 求 gy(0) 的 点 估计 . 设 先 验 分 布 为 G(v-1, v), 00 
和 ?>>0 都 是 常数 . 

为 求 g(0) 的 Bayes 估计 ， 写 出 (9，X:，…, 六 。) 的 联合 密度 
(对 L BE) | 





re- (D'(y)«") 3e 67g 
(34 2,770, =, 2,770, 87-0; 他 处 为 0), 


此 处 了, 一 六 zw， 由 此 易 见 当 得 出 样本 sz 时 ，9 的 后 验 分 布 为 
G (和 十 二 ,my )， 因 而 算出 g(0) 的 Bayes 估计 为 


er 1 jid I 一 tog po— (Tatty ,,nt»v—1 
一 一 ”一 一 一 -一 | eft eT (Is 
CE 


| -(1+ nr) inu (3.24) 

例 3.4 设 一 个 有 限 总 体 包 含 信 个 元 素 ,其 中 及 个 具有 性 质 
A. 此 处 A Aj GUI, M 为 未 知 ， 且 可 视 为 此 总 体 的 参数 ， 记 0= 
M/N. 随机 地 、 无 放 回 地 由 此 总 体 中 提出 ?个 ,以 开 记 其 中 具有 
性 质 4 的 元 素 个 数 . 为 估计 98, 通常 用 估计 量 X /m. uda A eR 
数 为 G-a)’, 先 验 分 布 为 


Hide cs 


N+ 





(4—0, 1 Ut N), (3.25) 
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求 的 Bayes 估计 . 
为 此 需 用 以 下 的 恒等式 
N-n fi+k\/N—k—i N+1 N-41 
si k \( 多 一 大 KO s) EN 
此 处 2 一 0 1, e, n, KERFA, 只 需 用 
-oi (t=1, 2, .…) - 
代入 恒等式 
(1 2 w) 一 (+3) 一 (1 et w) —(k+1) (1 "V p) bt) 
的 两 边 ,并 比较 m7 项 的 系数 即 可 得 到 . 


如 前 ,分 别 以 了 和 PER X 的 边缘 分 布 及 (MM, XO KA 
分 布 , 有 


l pan 
rx- -hamo 55/0) 





1 xm /9 十 2 一 人 一 人 / N 
Ni 2 2: n—2 n 

1 == te: 
T p (z=0, 1 ? n), | (3.27) 


这 里 最 后 一 步 用 了 恒等式 (3.26). X | 
P'(M—m, X—2z)- H(M—m)P'( X -z| M =m) 


Le) 


EAE |o. nti (mV N —m 2i 
P'(M—m|X-s)-— N+i C n— D Ma 
(m=0, 1, … N). 


这 个 条 件 分 布 的 均值 即 M 的 Bayes 估计 为 


EC 
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03,4-1. N x [m N -m . 
e AC) ) entm oam 


A m rr, 并 利用 (3.26), 得 
加 十 十 Y m--i1V/.N-—m 
/eC 


n-i- N~n (q-I-$m4- 1 
Aes) 


Pun 
à 0.4- 1— (24-1) 


-| 7. is IG e) A (2-1); 
eve 


NNNM 
= m/l orna: (3.30) 


ma. 28)~ (3.30) ,得 M 的 Bayes 估计 为 
N-4-2 N-r-2 N—n 
nog die LEE E 
而 9 的 Bayes 估计 为 
N-4-2 N-n 
a2)— E CEE 








(3.29) 


+i 

"d 

qub 
1 
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一 、 引 言 与 定义 

如 前 所 述 ， 在 Bayes 方法 的 基础 及 其 使 用 上 存在 的 最 主要 问 
题 就 是 先 验 分 布 的 确定 。 当然 ,比较 令 人 信服 和 易 为 实用 者 所 接 
受 的 选择 , 是 基于 历史 资料 或 有 根据 的 理论 所 得 出 的 结果 .， 除 此 
之 外 ,Bayes 学 者 还 提出 了 一 些 带 主观 色彩 的 定 先 验 分 布 的 方法 ， 
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有 的 被 描述 成 带 - 一 般 性 的 选择 法 则 , 例如 例 2.1 中 提 到 的 “同等 无 
AV "原则 ， 事 实 上 , 恐怕 大 家 终究 都 能 接受 的 一 种 看 法 是 : 尽管 这 
些 考 虑 在 某 种 特定 情况 下 可 能 有 用 ， 企 图 规定 任何 一 种 放 之 四 海 
租 淮 的 选择 先 验 分 布 的 法 则 ,是 徒劳 无 益 的 . 

以 例 2.1 中 的 8 的 估计 来 说 ， 可 能 该 事件 在 历史 上 并 未 做 过 
试验 或 者 无 记录 , 在 理论 上 我 们 也 对 它 一 无 所 知 , 因而 看 起 来 , 同 
等 无 知 的 原则 及 其 所 导致 的 9 的 先 验 分 布 R(O, 1) 是 很 合理 甚至 
是 唯一 可 行 的 、 但 我 们 也 可 以 这 样 想 : 不 仅 对 O, A 90? d.d — 
无 所 知 ， 因 而 我 们 也 有 理由 把 同等 无 知 的 原则 用 于 o 这 将 导致 
以 

302， 当 Ox 0«:1; 
«bal 0, Ki. 


作为 9 的 先 验 密度 ， 这 样 看 来 , 没有 根据 认为 ,“ 同 等 无 知 * 的 原则 
是 一 个 先天 合理 的 原则 . 

但 是 , 如 果 只 是 把 Bayes 方法 当 作 理论 论证 中 的 一 种 工具 , 这 
时 不 存在 所 选 先 验 分 布 是 否 与 实际 情况 符合 的 问题 ， 则 先 验 分 布 
可 由 人 们 任 选 ， 而 这 种 选择 是 否 恰当 ， 对 问题 的 处 理 有 很 大 的 关 
R WEER, 寻找 某 些 一 般 性 的 选择 先 验 分 布 的 有 效 方法 就 是 
一 件 很 有 意义 的 事情 了 。 在 这 方面 ， 例 3.1 中 提 到 过 的 共 辐 先 验 
分 布 族 的 概念 是 值得 注意 的 . 

我 们 先 给 一 个 正式 的 定义 如 下 ; 

定义 4. 沿用 前 面 的 记号 , 设 为 Zo 上 的 一 个 概率 分 布 
B, EEN H EH NPER v, 可 以 有 一 个 例外 集 NE Za PON) 
=| PANAH (6) ^0) HC lo) € €, Wi 2034 5e 4h 


9 ^ dk. 

共 轿 先 验 分 布 族 在 任何 情况 下 都 是 存在 的 . 比方 说 , 可 以 取 
HR dl o 由 此 可 见 , 在 定义 4.t 中 , 并 
没有 规定 真正 有 意义 的 共 钳 先 验 分 布 族 应 是 那 种 包含 少量 参数 
的 “自然 形式 的 分 布 族 . se 
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二 、 用 充分 统计 量 构造 共 斩 先 验 分 布 族 


B Xi Xa o 为 独立 同 分 布 变量 , 每 个 互 ! 的 概率 空间 都 是 
(47, Ba, P), P=(Po, 0€0) «n, 六 为 天 上 的 o- 有 限 测度 ， 
id Xa -OX;, e, Xn), W Xea 的 概率 空间 为 (和 mw, ZP, PY), 
其 中 

了 人) 一双 X…Xx2 (mE, FE) 
BE = BX x, POPX EXP, 
又 记 fe(z) -dP.(z)/dy. 

现 作 以 下 一 些 假定 ， 

1. 对 任何 %， 存 在 充分 统计 量 [当然 是 指 AFL”, 2P, 
PORRA] 

T, - TX. 
2. 由 上 述 假定 ,根据 因子 判别 定理 , 应 有 
T fo(e) — g (Ts (n2, 7, Ba), On (1 e, W), (4.1) 
此 式 本 来 只 是 对 固定 的 ww 和 9， 对 zw 几乎 处 处 成 立 ， 现 在 假定 : 
3-9 n-1, 2, … KH OEO 和 一 切 o. € 279, (4.1) 式 恒 成 
x,H mE 
halti, 777, DaO, 

3. 存在 Zo L -ARW v, E — H H o CA R 

n=1, 2, 有 
0« [ o (T. (os, =, 29), Odv(0) «o. (4.2) 


引进 Zo 上 的 概率 分 布 族 如 下 : 
M {HWE n -—i, 2, e, (4.8) 
此 处 


H,,,..,s,(B) - | e «Gs, ey Du), 8)dv (0) 
VAR Uy US), 6d» (0). (4.4) 
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则 有 

xEXH 4.1 在 以 上 诸 假 定 下 , Z it- ARR. 

证 ”在 分 布 族 (4.83) 中 , 任 取 一 个 

O (Odo (8) a- ge (LG, on), O) do) (4.5) 

In Tn, | Eh), p)dv(p) 
作为 9 的 先 验 分 布 。 在 得 到 样本 Xa, e, n 的 条 件 下 ， 依 公式 
(2.5), ^i 0 B Jg Um 4-8 Og 
q (zi, "eey Tns 0)adv (0) 
=K (af, e, Dh, vy cr, Ca) gu (Tm (23, 7, 99), 0) 


-TI feed) dv (5). ^ (46 


Jb ECKE: Ka e 都 是 所 标 出 的 变量 的 函数 , 其 具体 形式 
无 必要 写 出 ， RAR (2.5) URK FHR (4.6) 4 (2, e, Da) 
属于 某 个 零 测 集 ( 指 Xo 的 边缘 分 布 意义 下 的 零 测 集 ) 时 ， 不 必 成 
X. 但是, 既然 在 定义 4.1 中 已 容许 有 这 么 一 个 例外 集 ,那么 我 们 
不 妨 设 (4.6) 总 成 立 ， 由 (4.1) 和 (4.6), 得 
qla, =, Bn, 9) 
— Ka(2, "e Dh, Q3, ***, £5) Gm (T a. (21, Meist v»), 0) 

“gn (T's (ma, py， La), 0), (4.7) 

又 由 (4.1), 有 


ISKE) — gn Ta (2$, ^, 23), One, e, a), (4.8) 
TL fao) = «(Ts (us, Bar 2,4), 9) hen (21, "t5 Ta), (4.9) 
T] SDT fano 
= Oman (T maa (1, "ty 2o, 21, "t Da), 0) 

* Jas cn (21, Ut Gms $1, ***, Ta). (4.10) 

因为 (I 一 4，2,…) 总 大 于 0, H (4.8) ~ (4.10), 48 

gn (T. m (a, d v»), O) gn (T (mi, ub Ta), 8) 
= K (%3, "t, Vimy qi, *'5, V.) Jmtn 








又 了 
以 此 代入 (4.7), 得 
0(O1 *…, Bn, Ode (0) 
=K (1l, t, Bms Vi, 77, Yu) Imin 


x (T minl, e, a9, Bi, t, Ea), 0)dv (0), (4.11) 
再 利用 条 件 | asm, sme O)dv (0) =1, 即 得 


0 0 
K (o5, te, 954, 93, 775, Wn) 


RS [| oo Cassa en R5 Wi, n, m), 0)d» (P) E 


代入 (4.11) 后 , 即 知 后 验 分 布 qus, o, vs, 0) dv (8) 53€ (4.9) 所 
定义 的 族 SC 内 .定理 证 毕 . 

从 (4.3) 及 (4. 和 看 出 ,分 布 族 .党 表面 上 依赖 于 “人 参数 zi, …， 
z,(n-1, ，2，…)， 实 际 上 只 依赖 于 了 (ca，…， m) (n—1, 2，…)， 
”因此 ,最 有 意义 的 情况 是 : IE n EX, 全 ww， 有 一 个 维 数 固定 (与 n 
无 关 ) 的 充分 统计 量 T. 4ES5— ERES 6 中 我 们 曾 指 出 , 这 一 般 只 在 
(Pe, 96EG@) 为 指数 族 时 才 可 能 . 因此 ， 可 以 说 由 本 定理 给 出 的 构 
造 共 轿 先 验 分 布 族 的 方法 基本 上 只 适用 于 指数 族 ( 当 然 ， 也 有 钢 
外 ,如 均匀 分 布 族 )， 又 由 本 定理 给 出 的 共 思 先 验 分 布 族 有 时 能 和 运 
当 扩 大 .这 多半 是 通过 将 n=l, 2, … 扩充 为 n 连续 变化 . 

下 面 举 几 个 例子 说 明 本 定理 的 应 用 . 

5j4.1 Bernoulli 序 列 Ste tə, tid., B. 

Polwi=1)=1— Po(wi=0)=0 o<os1) 
取 定 理 中 的 d» 为 卫 测 度 d0, 此 处 


T. re 之 vs 
为 充分 统计 量 , 而 
II fo) =a, 


于 是 由 定理 4.1 IPER 8a, b):a, b=1, 2, =}, 这 
个 族 可 以 扩大 为 {B(&, b) :470, b>0}. 
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14.2 Poisson 分 布 序列 dE Xi X» viid, B 
P,(X,—2)-—e70*/21, 9—0, 1, 2, =, 06 oco, 


取 dp 一 Q9, 此 处 T,-2 mi 为 充分 统计 量 ,而 


In fo (ax) —e7907^/ (wil ml), 
TE dig 4.1 (3E e 2 Tu d (G (a, b): a, b—1, 2, +} 
(G (a, b) X Gamma 4 , 见 例 3.8) , XART AI KHG Ca, b): 
80, 50]. 
5]4.3. 正 态 序列 . 方 差 已 知 ， 设 Xi, Xa, tid., X; N (6, 
9^), —co« 0 — co, c? B4, W dv —dO0, Wa Ak 


1 n 
T; 2X 


为 充分 统计 量 ,而 
MEZO) 一 (V 2x 09) ^" exp (73/22?) 
n8? — 2nT'.9 
a s) 


作为 上 的 函数 看 ,除去 一 个 常数 因子 不 计 , 它 正 是 WCG o? /n) B 
密度 .由 于 了 ,可取 任何 值 , 依 定理 4.1, 得 共 轿 先 验 分 布 族 
{N (a, 09?/n): — coa co, n—1, 2,……}, 
这 个 族 可 以 扩大 为 
{N (a, b): —oo-ca«co, b>0}. 

例 4.4 正 态 序列 、 均值 Ei Al. 设 Xi Xa, “iid., Xi 
N(O, œ), O 已 知 而 c>0 (23k 79 0). XXdr—do, «NH ib T,= 
20-0)! 为 充分 统计 量 ,而 

I 


I fe (ad) (rs) ORO 7,/209. 


为 了 [o exp (— T,/20*)do «co, 
IL n1, T,—0(T,—0 的 概率 为 0)， 于 是 根据 定理 4.1， 得 到 
共 轿 先 验 分 布 族 ( 以 对 工 测度 的 密度 的 形式 表 出 ) 为 
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| gg naa (morrese: n=2, 8, "=, a>0}, (4.12) 
SREI KA n1, a0 WAEAGCOBTE. — 

iid 0-1/o?, WRA: 24 o 7E 3 HE (4.12) B], 0 有 Gamma 分 
ti afa, 235). pilas 0—1/o? 为 参数 , WIRE AY 
为 Gamma 分 布 族 {G (a, b): a70, 8>>0}。 不 难 证 明 ( 证 明 留 给 
读者 ): 若 9=1/o? 的 先 验 分 布 为 Gl4, 切面 样本 为 its a, M 
9 WERN Gaty $ 0-0), 8-2. 

例 4.5 ERRI EDARRA. Xi Xa, iid., X, 
~N (a, g?), —co«ca-« oo, c>0, 0—(a, o), dv =dado., 此 处 


-Tam (Ru 82 = (PXT X.) 


为 充分 统计 量 ( X3 XVn), Mi 


TL foe) = (Bio) "exp[ -r RnS], 


于 是 由 定理 4. 工 及 例 4.4495] 0— G, o) KAIERA 
WF: o 的 分 布 为 (4.12), 而 在 给 定 o 时 ,5 的 条 件 分 布 为 (1 
c*/n), WA p 2 45388, 而 mn 一 1，2，,…。 此 共 思 分 布 族 可 扩大 如 
T. 转化 到 Lua, -E WAR Ga, B), a>0, B>0， 而 在 
HUE o I, G RAEAN N Cu, o/a), p 为 任意 的 而 7>>0， 不 
难 证 明 ( 计 符 留 给 谈 者 )， 若 (5，o) 有 这 样 一 个 先 验 分 布 而 样本 为 
oo ns as UG, o) 的 后 验 分 布 如 下 : 

LG (ac nme B+n/2), 











g” € 2(n+r) 
yA utr SR ART ~ 2 ux na, 十 TH g? 
而 在 给 定 o Hy a TE P ,0 的 条 件 分 布 为 N( n ; D ). 


例 4.6 多 维 正 态 、 协 方差 阵 已 知 ， B Xi, X a, - iid., X 10 
N,(0,2), E-0 Bu. HARER: 0 BTR y dn 
族 为 Niu, v)5, JUS p DERRI k EIS EE, 而 3 为 任意 的 阶 
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EER, MEH O0 ARES ND, r), 则 在 得 到 样本 oi, n, 0L 
时 ,9 的 后 验 分 布 为 
N (rtt nE DAE tutna m), (7 1iM-n37)753. 
下 一 例 要 求 读 者 熟悉 Wishart 分 布 、 不 熟悉 这 个 分 布 的 读者 
可 以 略 去 .由 于 没有 什么 困难 , 我 们 只 给 出 结果 而 不 作 仔 细 计 算 ， 
例 4.7 设 X3, X s, dd. , X17 N, (a, 2). f au Al, pij 
2 Bt —^ dicc Yid RIDE DE xk T. Z-—W., v), 
此 处 oc 5—1, 而 7 为 任意 站 阶 正定 阵 ， 当 立 :+ 有 这 样 一 个 先 验 
分 布 而 得 到 样本 Ti, TTE Tn 时 ， at BE S AB A | 
Was (s [724-330 8) (8 2)1 7). 
d adem, Ua, 3) 的 一 个 共 轿 先 验 分 布 族 可 通过 
Z REMF: DNW, v), KrhBa—k—1, v HER b 阶 正定 
阵 ， 而 在 给 定 2 的 条 件 下 , a 的 条 件 分 布 为 NaCw, C+E), Ie Ak 
u HITE kak, O> 也 为 任意 的 . M4 (a, 22 有 这 样 一 个 先 验 
分 布 而 样本 为 $4, °°°, Ln 时 ， (a, 2) 的 后 验 分 布 如 T: A 
W orn lh, v), 其 中 i ; 
[0 X8 Qn 2 + 
而 在 给 定之 时 ,5 为 
Ny (二 — (Op--na,) 





— 293 (p — T)” ] ， 





cow) 


$5 Lx Bayes 估计 


一 、 作 为 Bayes 估计 的 极限 的 广义 Bayes 估计 
Bayes 估计 类 需要 适当 地 扩大 ， 省 单 例子 可 
例 5.1 US X.,-—, X, 为 抽 自 正 态 总 体 入 (90, 1) Wiid. pE% 
(—co<0<00), AXIS L(0,24)-(0—2a)*, gil uEBJ. 不 
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i6 6 的 先 验 分 布 如 何 ,常见 的 信 计 量 X o Soo ned 0 的 Bays 
f. | 
事实 上 , dL As (2.5) PERH 0 的 后 验 分 布 为 
exp( — 2.8 —2)* Jag) / [^ oxp -20-5 JEO). 
用 公式 (8.8) 算 出 9 的 Bayes 估计 ,车 此 Bayes 估计 为 z， 则 应 有 
(E u dà z) | 
u- |" &exp (—30—w2?* a£ 


[| e - $06 EO. (6.1) 
X u€(—oo, co) JUXEAE Ab CL (UE) jr. — BL A (v) 记 (5.1) 式 右 
UKA, H8 — XE 38 2.2, EL A Qu) RAE TE TE BL RT EBAY 
号 下 求 导 ,有 
M) —n| (一 exp( 5 (0—* JEO). 

HUJHGO.0)D, Wk (u) =0, a. s. LF —eecucoo, HFK UJ 
u REEK, BUM A (u) 三 0 于 一 oo<w<o0， 敬 (ww) 为 一 常数 
C, BẸ | 

| exp( — 5 6 )a£ (0) =0 (—ococu«oo), (5.2) 
用 控制 收敛 定理 知 ， 当 w->co 时 , (0.2) 的 左边 趋 于 0, 故 (v) 0 
于 一 co<w<co。 由 于 专 为 一 概率 测度 且 exp (一生 (9 一 由")>0， 
这 是 不 可 能 的 . 这 个 矛盾 证 明了 天 确 非 Bayes 估计 (参看 本 章 习 
题 6). 

但 由 例 3.2 可 知 , 尽 管 并非 Bayes 估计 , 它 却 是 一 串 Bayes 
估计 (3.21) 当 coo 时 的 极限 ?， 这 启示 我 们 对 Bayes 估计 的 概 
念 作 一 个 自然 的 推广 , 即 把 那些 本 身 虽 不 是 Bayes 估计 ,但 可 作为 
Bayes 估计 的 极限 的 那些 估计 考虑 进来 . 这 种 估计 称 为 “广义 

1) 在 此 处 及 后 面 的 有 关 讨论 中 , 可 把 e 的 取 值 限制 为 自然 数 。 





Bayes 估计 ” (Generalized Bayes Estimate). ， 在 这 里 必须 明确 所 
提 到 的 极限 的 意义 该 如 何 规定 . 概率 论 常 用 的 几 种 收敛 性 ， 如 依 
概率 收敛 ,以 概率 1 收敛 等 ,都 可 作为 此 处 极限 的 意义 ， 但 研究 表 
Ul, 一 个 更 弱 一 些 的 概念 就 够 用 了 ,这 就 是 现在 我 们 要 介绍 的 “ 正 
Vd S1" (regular convergence) 的 概念 . | 

设 变量 BHO, 2, P. 6c0), MAWRA 
(A, ZOA 为 欧 氏 的 . 

定义 5. 区 判决 函数 列 的 正则 收敛 ) HE S, di, 83, … 为 一 串 
非 随机 化 的 判 次 函 数 , 若 对 4 上 的 任何 有 界 连 续 珊 数 & ARKE 
的 任何 满足 条 件 


| ,lg dP <o QGi—mécee) (6.3) 
的 函数 g, DA 
lim| wu, (2)) g (9) dPs (v) 
=| wG)s(GdP.G) (对 一切 ge6) — (5.4 


成 立 ， 则 称 {6,} 正 则 收敛 于 8， 并 记 为 6, 一 > D. 
若 8、6, 等 可 以 是 随机 化 的 判决 函数 ， 则 (5. 你 式 可 相应 地 修 
改 为 


lim i [fu (2) 8, (d£ | v) le (z)d. P, lz) 


n-o2 


-| [| uO dP Gi—mece. 
不 难看 出 ,这 包含 了 (5.4) 作 为 特例 ， 同 时 在 非 随机 化 的 情况 下 不 


难 证 明 : 若 对 任何 0E@, d 5,(X) —À5(X), Jj 2 一 >3. 

定义 5.2( 广 义 Bayes b) 车 对 任何 自然 数 %, 判决 函数 8, 为 
Bayes 解 (更 确切 地 说 ,样本 空间 分布 族 , 行动 空间 、 损失 函数 等 
TRE n 而 变 ， 但 先 验 分 布 随 %% 变 化 而 变化 )， 且 当 mn->co 时， 有 
56, 一 > 5, 则 称 6 为 一 个 广义 Bayes ff, 


“492 。 








从 Bayes 学 派 的 观点 看 ， 引 进 广义 Bayes 解 在 实用 上 的 意义 
EF, 当 确实 缺少 先 验 知识 时 , 可 以 避免 被 迫 作 出 一 个 有 偏向 的 选 
择 、 仍 以 例 5.1 来 说 : 如 果 对 9 的 先 验 知识 确实 一 无 所 知 , 则 最 合 
理 的 估计 应 是 通常 的 估计 5。 要 是 必须 使 用 狭义 的 Bayes 估计 ， 
就 必须 在 缺乏 根据 的 情况 下 人 为 地 确定 一 个 先 验 分 布 ， 使 用 广义 
Bayes 解 ,避免 了 这 一 点 且 可 以 说 不 违反 Bayes 学 派 的 信条 . 

从 理论 的 观点 (不论 是 Bayes 学 派 或 否 ) 看 : 引进 广义 Bayes 
解 的 意义 主要 在 于 ， 在 很 宽广 的 条 件 下 ， 一 切 Bayes 解 和 广义 
Bayes 解构 成 一 个 完全 类 . 这 个 结论 从 Bayes 学 派 的 观点 看 ， 可 
以 解释 为 Bays 方法 的 合理 性 ， 不 论 怎 样 , 这 个 结果 提供 了 一 个 
规定 判决 函数 完全 类 的 现实 的 普遍 方法 ， 不 能 不 说 有 很 大 的 理论 
EX. 

由 于 涉及 到 过 多 的 数学 上 的 细节 ， 所 以 我 们 不 给 出 上 述 结 果 
( 即 Bayes 和 广义 Bayes 解 的 类 的 完全 性 ) 的 严格 表述 与 证 明了 . 
读者 可 以 参看 Wald? PXE, 所 述 结果 是 Wald 这 本 经 典 著作 
的 一 个 主要 结果 , 也 可 以 参看 Farrell!?, 1976 年 ,Brown 在 一 份 
未 公开 发 表 的 材料 中 对 这 个 问题 作 了 透彻 的 论述 . 


二 、 通 过 广义 先 验 分 布 定义 广义 Bayesf 


仍 回 到 例 5.1， 根 据 例 3.2， 估 计量 瑟 是 一 串 Bayes 估计 
(3.21) 34 zo 时 的 极限 ， 如 果 从 先 验 分 布 着眼 , 则 当 ooo 时 ， 
大 致 可 以 说 ， 先 验 分 布 (0, 5) 趋向 于 (一 oo, oo) 上 的 “均匀 分 
P PLWS. E 工 测 度 不 是 一 个 概率 测度 ,不 能 直接 取 为 先 验 
分 布 ， 问 题 就 在 这 里 .但 以 上 的 考虑 启示 我 们 ， 信 计量 5 可 能 会 
与 作为 分 布 W(0,，z) 的 极限 的 工 测 度 发 生 某 种 联系 ,而 这 种 情况 
可 以 作为 通过 推广 先 验 分 布 的 概念 来 推广 Bayes 解 的 依据 . 

仔细 考察 一 下 Bayes 解 的 定义 2.2, 可 以 看 出 在 此 定义 中 ,及 
为 概率 测度 并 非 必需 .因此 从 形式 上 说 ， 我 们 可 以 把 Zo 上 的 任 
一 测度 H 称 为 一 个 “ 先 验 分 布 ”， 而 仍 按 定义 2.2 来 定义 Bayes 
解 ， 问 题 在 于 , 对 先 验 分 布 作 了 这 种 推广 以 后 , “后 验 风险 最 小 ”的 
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原则 能 否 维 持 ? 细 察 公式 (2. 多， 可 以 看 出 要 由 (2. 名 定义 的 
H (* |z) 仍 构成 一 个 概率 分 布 ,只 要 


0< f flw, WAH (8) 一 co (6.5) 


就 行 ,而 不 必要 有 H(8)-1, xu ESI S SLT FR N: 

定义 5.8( 广 义 先 验 分 布 ) 设 区 MORES I E, Bo, Ps, 
OEO), AHEM OCO, PK, u J Ze 上 的 o- 有 限 测度 , 记 

dPo(w) /du =f (s, 6). 

BH 为 Bs 的 一 个 测度 ， 满 足 条 件 吾 (@) 一 co 及 (5. (对 一 切 
2, 或 可 以 有 例外 集 N € 4, 使 | PstW)48 (0) 一 0), HU HL 
一 个 广义 先 验 分 布 (Generalized Prior Distribution), 

条 件 及 (8) = oo 的 理由 是 : dH (8) =0 (0<0<o0), 则 用 
H/O 代 五 ,就 回 到 通常 先 验 分 布 的 情况 . 

定义 5.4 沿用 前 面 的 记号 ， 著 五 为 一 个 广义 先 验 分 布 , 则 
(2. 卫 定义 的 Ra(5) 称 为 判决 函数 3 的 广义 Bayes 风险 ， 使 广义 
Bayes 风险 达到 最 小 (在 指定 的 判决 函数 类 中 ) 的 判决 函数 3 称 
为 相应 于 此 广义 先 验 分 布 吾 的 广义 Bayes f. | 

不 难 验证 ， 在 定义 5.3 和 5.4 之 下 ,就 例 5.1 而 言 ,二 测度 为 
一 个 广义 先 验 分 布 ,而 相应 的 广义 Bayes 解 即 为 通常 的 估计 量 元 
”下面 证 明 ， 在 广义 先 验 分 布下 , “后 验 风险 最 小 ”的 原则 仍 适 
用 

定理 5.1 Zum WE 

[ LO, 8Ha) 
ini IRZO a) H (d6 |a): «€ A], (5.6) 

xm HC |e) h Q.4)/88 (5.6) Xt o WAA A ENEZ, 
满足 条 件 | PLQDdH() -0), W 3 就 是 在 广义 先 验 分 布 瑟 之 
下 的 广义 Bayes 解 。 
fe 194。 








证 明 很 简单 ， 只 需 注意 对 任何 判决 函数 3”, 有 
Ra(5) - | | SENSE, Ndue) jane 


-| [f 1c, 5*0) 912) |] anc). 
此 处 xz) =| fc, a8 (9). 

以 上 提出 了 广义 Bayes 解 的 两 个 定义 ， 自 然 地 会 产生 在 何 种 
情况 下 二 者 一 致 的 问题 . 关于 这 个 问题 可 参看 [11] 和 DU). 在 
DH], Sack 仔细 讨论 了 了 单 参数 指数 族 的 情况 ， Sacks 的 研究 证 
明了 在 这 种 情况 下 ,前述 两 个 广义 Bayes 解 的 定义 是 一 致 的 (加 上 
KERE) 这 类 工作 的 仔细 叙述 涉及 不 少 复杂 的 细节 ， 此 处 从 
KT. 

现在 考察 一 个 例子. 

例 5.2 再 到 例 5. 并 取 广义 先 验 分 布 为 五 测度 dO. RR 
当 得 出 样本 wm，…, mm 时， 依 (2.4 算出 的 9 的 “后 验 分 布 " 为 
N(z, 二 )， 设 损失 函数 有 二 (9, 由 一 丽 (16 一 al) 的 形状 ， 则 依 定 
理 5.1, 广义 Bayes 解 8 应 满足 条 件 

f e( -4 0- W 40-80) Dao. 
= inf ("ep - 56-2 2 Ww (16—a[de: 
-eoa« oc]. 


TUE]. REW OE £20 处 单调 非 降 , W 8(z) mz JR AR 
ft, 因而 为 广义 Bayes 估计 . | 

不 难 验证 ,要 证 明 这 个 事实 , REEN: 函数 

ga - [^ W18--aDfC18Dd8 (一 co 一 <co) 
在 a 一 0 处 达到 最 小 值 DOE f () Te t0 处 非 增 非 负 ， 显 然 ， 
g(—) —g(a). 
MORS AGIR E, 可 设 4>0， 有 
» ?95， 





g(a) -g(0) =| DW C10--a]) —W C6 D1fC10Da8 
+| DV 6-72) -W C1 D1/C16Dd8 


e [^ tw 0a -WANIA 
SII +I. | p.) 
在 积分 Is PERR 0— t, 注意 |-t+a|=|t-a], ] - t| - Lt, 
再 作 代 换 t=0+a, 中 得 


有 -一 | (le+al) 一 丈 (lD17(19+al)d8. 


于 是 
Iis 


= jJ IW (0+al) -WG8D1LfC8]1) —(016321)149 


-| DF CI6--a]) —W(I0l)If dA +0])d 


Bl |. (D.8) 
HT a0 以 及 对 下 和 上 三 的 单调 性 假设 知 :在 0>0 时 ,积分 7 的 
TUA PEE 负 ， 故 L>, Am, KHE gla) 一 940) 关 0， 只 和 需 证 
ILa+I>0. 但 
13J, 


-人 OV C6--aD -WODI EFON —fC18--21)346. 
(5.9) 
因为 在 —5 0-0 Mp8 16--a| 2 [0], 由 对 了 0 f RAMEE 


A). (5.9) 右边 积分 的 被 积 B AE 一 吉 <9<0 内 非 灸 ”这 就 证 
明了 所 要 的 结果 . | 


三 、 广 义 Bayes 区 间 估 计 


考察 一 下 广义 Bayo 解 的 概念 用 于 区 间 估 计 的 情况 ， 也 许 有 
助 于 加 深 对 这 个 问题 的 理解 ， | 
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如 在 例 2.1 中 措 述 过 的 ， Bayes 区 间 估 计 一 种 确定 方法 如 下 : 
设 先 验 分 布 为 互 ， 指定 waE(o, 1). 有 了 样本 gz 以 后 ， 取 区 间 
[4(z)，B(o)] ,使 | 

H (A(g) «6s B(a) |e) -21—a, (5.10) 

这 种 作法 的 好 处 是 区 间 LAQO, BO] 有 指定 的 “事后 信和 度 工 一 wa 
(我 们 前 已 指出 ， 这 不 等 价 于 Neyman 理论 中 的 置信 系数 工 一 a)， 
在 满足 条 件 (5.10) 的 前 提 下 ,可 以 对 [4(%), 8(z)]1 提 出 某 种 优良 
性 要 求 ,如 其 长 最 小 的 类 ， 现 在 我 们 来 举例 证 明 ; | 5.1 的 现象 在 
区 闻 估 计 中 也 有 , 即 最 常用 的 区 间 估 计 可 以 不 是 Bayes 区 间 估 计 . 

例 5.3 设 X, PAD X n AWK N (8, 1» 的 iid, 样本 ， 这 时， 
常用 的 区 间 估 计 是 [5 一 5/V wn，z#+5/MVn1,5 由 

f, eta dt=1—a 

确定 , 现 证 : 不 论 先 验 分 布 五 如 何 取 , 上 述 区 闻 估 计 决 非 在 (5.10) 
意义 下 的 Bayes 区 间 估 计 . 

因 z 为 充分 统计 量 且 仍 为 正 态 分 布 ， 不 失 普 遍 性 ， 可 设 n= 
I， 在 得 到 样本 2 Bj, 6 的 后 验 分 布 为 

C(z)exp (-ic-9») d. H (8), 
w OD)=[| ex(- Le-0*)ano] . 
因此 , 若 z 土 5 为 (5.10) 意 义 下 的 Bayes 估计 ,应 有 
O (2) | exp( 一 二 人 一 93 aH (6) niea; 
bp æt+tb 1 Í 
K Pi exp( -5 0—0)? Jag (8) 





-| exp( -4-0 )àH(9) 6.10 
对 一 oo 过 Zz 之 oo 成立, 此 人 外 
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现在 引进 三 个 独立 随机 变量 锯 、é&. & 如 下 : 5 的 分 布 为 豆 ， 

a~ N (0, 1), T] £s "EE EHE ONE LWE) 
e 1/2/A, s t| «5, 
(Ol, uoa | 
由 (5.11) WTA, été 与 上 十 cas 有 同一 的 密度 函数 ， UE V] 
fi) G=, 2, DHAR £(($-—1, 323，8) 的 特征 函数 ,将 有 
fi (fa QD =f HOS). | 
由于 在 4 一 0 的 邻 域 内 fi (2) x0, 知 fa(2) — fa() QX I4] 充分 小 )， 
但 fa (D) —e7*', 因而 fa (4) —e77 05]: 3629]. BREA 
XBBIOSIRUOTS EE) =1 fH 
FOAR =f ep [ena | 
# lmfQ)-1R 
f (2)= LX T eta em t3971*/2 dt | / 
(f. e? di ) 0, 

因而 f 为 增 函 数 ， 故 对 于 一 切 5>>0， 有 了 (5) 二 1， 就 是 说 ， 对 于 
b>0, A E(£5 < 工 ， 这 个 矛盾 证 明了 所 要 的 结果 . 

但 是 不 难 验 证 :2z 士 2 可 以 作为 一 串 Bayes 区 闻 估 计 [ 在 45.10) 
的 意义 下 , EEK B(z) 一 4(%) 最 小 ] 的 极限 、 为 此 ， 只 需 取 先 验 
分 布 入 (0, D, Aroon., 对 其 仔细 的 验证 留 给 读者 去 
fg. 又 车 取 广 义 先 验 分 布 为 8, 县 仍 按 (2.4) 式 计算 后 验 密 度 ， 则 
Zz 土 5 正好 是 这 个 广义 先 验 分 布 之 下 的 广义 Bayes X H ii. F 
例 中 有 同样 的 现象 . | 

例 5.4 iz Xi, e, Xa HWH NO, 0) (0—0) 的 iid. FE 
本 , 取 o 的 广义 先 验 分 布 为 Qo/o, 则 通过 公式 (2.4) 算 出 的 o 的 后 


验 分 布 为 Gamma 分 布 G (y, 2-), Ib y—2- 2:25, M gC ly, 四 


记 这 个 分 布 的 密度 函数 , 则 由 9 的 单 峰 性 可 知 , 满足 条 件 人 .10) 的 
最 短 的 区 间 售 计 [4(y),，B(Yy)] 由 方程 组 
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g(A(g) |y, n —gCBG) ly, n), | 
| By) (5.12) 
| gly, n)dt —1—a, 
EH. 
如 果 对 -二 给 以 正常 的 先 验 分 布 G( 二， 二 ) (m=1, 2,…)， 





算出 在 先 验 分 布 G( 过， yo ye té (5-100 oS CR IH 
LAs (2), By (2)], W4 mo 时 , 将 有 4,554, B>B, A, B 是 
由 (5.12) 定 出 的 。 因此 在 本 例 中 , 广义 Bayes 解 的 两 个 意义 也 一 
致 ， 对 上 述 事实 的 验证 留 给 读者 完成 
例 5.5 wX., Ut Xs. 2938 El N (a, 07) f sid. 样本 ,gc 和 ac 
ERA G 任意 , 02-0). 在 Neyman 理论 中 , 通常 和 天 的 区 间 
估计 是 基于 本 分 布 和 x- 分 布 ， 下 面 证 明 : RC, oO 的 广义 先 验 
分 布 为 二 dadc, 则 上 述 通常 的 区 间 佑 计 是 广义 Bayes 区 间 估 计 . 
“ 按 (2. 和 ， 在 得 到 样本 t, =, wr 时 , (a, 0) 的 后 验 密度 (对 L 
测度 , 且 只 在 o>0 处 ) 为 


C, (mi, e, zo **Pexp| — 


此 处 C Gi, e, S) RET HI Da, E, 等 都 与 a o 无 关 ， 由 (5.13) 
算出 c 的 边缘 密度 ,也 可 以 算 作 是 a 本 身 的 后 验 密 度 , 为 


DG, s am] 
= E, e m) Hala)”, 
此 处 S= Èe), EAN, ds 
G* — An (n —1) (a— 2) /s, (5.14) 

则 a RAA BRE n Lfd tti, TH t-A RER 
对 称 单 峰 性 即 得 满足 条 件 (5.10) 且 最 短 的 区 间 估 计 就 是 通常 的 寻 
区 间 估计 . 

另 一 方面 ,将 (5.18) 对 4 在 (一 co, oo) BUS, 易 得 0 的 后 验 窗 
度 (在 o>0 处 ) 为 


-«) dade, (5.18) 
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Fam, +e, &)o ^exp( —$2/20?), (5.15) 
由 此 易 得 /cs~ x; (应 注意 的 是 :此 式 虽 在 形式 上 与 初等 统计 
中 见 到 的 一 样 ， 但 实际 含义 部 完全 不 同 ， 在 初等 统计 中 是 ”为 随 
机 变量 而 o? 国定 ; 在 此 则 sS 为 常数 而 o 为 随机 变量 ， 有 分 布 
(8.15)). 由 x 密度 的 单 峰 性 可 知 , 适合 条 件 (0.100 且 长 度 最 短 
Bj.o? 的 Bayes 区 间 估 计 有 形式 [s?/d, 2/0], c, d 选择 后 , 使 在 约 
R 


| a du=1—o (aCA x2_1 的 密度 ) (5.16) 


之 下 , 二 一 也 达到 最 小 ， 不 难 验证 , 。 和 d 由 (5.16) 以 及 
Xn-1(0) 8 = xr- (A) d? (5.17) 
联 立 解 出 .这 需要 用 x”- 分 布 表 并 用 试探 法 . 

不 难 证 明 ， 本 例 中 的 Bayes 区 闻 估 计 也 可 以 作为 正常 先 验 分 
布下 的 Bayes 区 闻 估 计 的 极限 ， 对 这 一 点 的 详细 验证 留 给 读者 完 
成 . 

以 上 诸 例 就 正 态 总 体 入 (a, o?) 的 参数 提出 了 三 个 重要 的 广 
义 先 验 分 布 : 

dH —da, ?*4 o? 已 知 ; 
dH =dc/o, 4a BH; 
dH -dado/o, "4a, o 都 未 知 . 
这 几 个 广义 先 验 分 布 在 许多 理论 问题 中 很 有 用 .其 更 深 的 根据 如 
下 述 : 若 在 空间 (—eoe-cacocl (0-0) füi—eocacce, o>>0} 
分 别 引 进 变换 群 
4 一 gg 十 CO (—oo«e«co) 
o'—eg (00); 
人 《一 ceo<coil<<co，co>0)， 
C = C30 
则 上 述 三 个 测度 分 别 是 在 这 三 个 变换 群 之 下 的 不 变 测 度 ， 称 为 
Haar 测度 ( 见 [13]). 
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$6 经 验 Bayes 估计 


—. 58 SEX 
经 验 Bayes 方法 (Empirical Bayes Method) 是 H. Robbing 
在 1955 年 提出 的 ( 见 [I 和 名). 他 提出 的 这 科 方 法 的 思想 受到 统计 
学 者 相当 的 重视 . 统计 学 界 的 元 老 J. Neyman 甚至 称 它 为 统计 
判决 的 “两 大 突破 之 一 ”二 十 多 年 来 ， 不 少 统计 学 者 将 Robbins 
方法 的 思想 用 于 种 种 统计 问题 ， 得 出 了 不 少 结果 . 1970 年 出 版 了 
这 方面 的 专著 ，Robbins 的 文章 "中 是 这 个 方法 的 一 个 很 好 的 介 
前 已 多 次 指出 ，Bayes 方法 最 大 的 问题 , 就 在 于 要 求 参 数 9 有 
一 定 的 先 验 分 布 。 即 使 在 菜 项 具体 问题 中 这 个 要 求 可 以 认为 是 合 
理 的 , 0 的 先 验 分 布 一 般 也 无 法 确 知 ,因而 不 能 不 对 它 作 一 种 人 为 
的 假设 性 的 规定 .因为 当先 验 分 布 的 指定 与 实际 情况 不 符 时 ， 所 
得 的 解 会 受到 较 大 的 影响 , 这 样 一 来 , 在 对 先 验 分 布 无 法 基本 确定 
时 ， Bayes 方法 的 适用 性 和 优越 性 就 颇 值 得 怀疑 了 .经验 Bayes 
方法 的 提出 就 是 针对 这 个 问题 的 . 
从 本 质 上 说 ,经 验 Bayes 方法 无 非 就 是 在 前 面 提 到 过 的 、 通 过 
历史 资料 ( 即 “ 经 验 ”) 以 决定 先 验 分 布 的 方法 . 这 个 方法 使 用 的 前 
EE. 参数 0 确 是 通常 意义 下 的 随机 变量 , 其 分 布 H 在 历史 资料 
积累 的 过 程 中 一 走 维 持 不 变 ， 在 本 章 开 头 处 提 到 的 那个 估计 废品 
率 的 问题 , 是 适合 这 个 条 件 的 典型 例子 . 
下 面 我 们 亲 说 明 经 验 Bayes 方法 的 基本 思想 以 及 经 验 Bayes 
解 的 严格 定义 . 
HRE X 的 概率 空间 为 (X, Be, P.,0c€0),T:3) E UTI d 
A EAE CA, 2.) 和 (0, a). 假定 我 们 在 过 去 已 多 次 面 对 过 
这 个 统计 判决 问题 . 在 第 《次 磁 到 这 个 问题 时 ,样本 为 zu 参数 真 
值 为 入 以 上 面 提 到 的 废品 率 的 例子 来 说 ,2 是 第 i 个 试验 日 的 产 
品 的 废品 率 ,w 是 当日 所 抽 的 mw 个 产品 的 上 废品 数 )， 我 们 假定 6 有 
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一 定 的 先 验 分 布 H, BRA LH 属于 某 个 分 布 族 20, 0i es 0. 
可 以 看 成 是 从 分 布 H 中 抽出 的 iid R” 事实 上 ,我们 当然 
并 不 知道 01 … On 的 确定 值 ,而 只 知道 ma, e, mss 它们 是 独立 同 
分 布 , 且 每 一 个 的 分 布 就 是 由 (2.3) 式 决定 的 已. 因为 分 布 卫 与 先 
验 分 布 H RR, 在 样本 t, e, Ea 中 也 就 包含 了 五 的 信息 , nA 
大 ,所 包含 的 信息 应 当 您 允 . | 
现在 再 一 次 面 对 上 述 统计 淹 决 问题 ,得 到 的 样本 是 ”>， 真 参数 
值 为 2， 在 求 Bayes 解 时 , 可 以 参考 由 历史 资料 ca …， 中 获得 
HRF H 的 信息 , 以 选 定 一 个 判决 函数 3， 这 个 8 EE m, e, Da 
有 关 , 因而 可 记 为 S(zjw，…，2)。 我 们 希望 它 的 Bayes 风险 接 
近 真 正 的 Bayes 解 n(x) 的 Bayes 风险 Ralu), Jf R34 noo 
Bf, T Rg(5z) 为 极限 ， 但 6,(z1z1，…，2) 该 如 何 计算 ? 首先 ， 
固定 vi, 0, mV 这 时 6, (m| ma, e, m.) 只 与 2 有关， 其 Bayes 风险 


(GP JE (X, 9) 的 联合 分 布 ,如 "表示 在 这 个 分 布下 求 期 望 ); 


Eg (8,125, "os Ca) 一 五 [L(Y, 9, CX |a, tts Ca) )] 
-| ,aelo =, m))dP*G, 0) 


- f. [| za, ,on)) APs) |d (0). (6.1) 


HIT mco, cs 也 是 随机 的 , 还 要 对 它们 求 一 次 期 望 , 这 样 得 到 这 
种 形式 的 5, 的 “全 面 "Bayes 风险 为 
Ra (ôn) = E,URg (ðn v1, +t, wn)] 
-| Runlza =+, or)dP (en) dP (on). (6.2) 


由 于 对 任何 v, cn, tn 有 Ranti, so, 2a) Ra On), BH 
Rr (ôn) 2 Ran). 

就 是 说 , 任何 经 验 Bayes 判决 函数 2 的 全 面 Bayes 风险 ,都 不 能 
低 于 Bayes 解 的 Bayes 风险 , 这 引出 如 下 的 定义 : 

定义 6.1 任何 同时 依赖 于 历史 样本 m, coms 和 当前 样本 
的 判决 函数 Òn =n (EE, «o, zn) 称 为 经 验 Bayes 判决 函数 ,如 果 
Nie Hon, A 
。 a02 « 








lim Ez (8,) — En Òn). (6.3) 


则 称 3, 为 渐 近 最 优 ( 简 记 为 a. 0. ) 8922 Bayes 判决 函数 ， 

应 当 注 意 的 是 ， 在 经 验 Bayes 判决 函数 5,(%|z1，…，%) B, 
历史 样本 mu, om, 与 当前 样本 v WEER RR. may rs, Bn 
的 作用 在 于 由 之 获得 关于 先 验 分 布 H 的 信息 以 玫 助 选 定 一 个 尽 
可 能 接近 真正 的 Bayes 解 6x (o) 的 判决 函数 OC [ma c, m), T 
推断 当前 参数 值 0 的 任务 则 落 在 当前 举 本 e 的 头 上 .人 多 如 估计 当 
HJ xU 的 任务 落 在 当日 抽样 结果 4 的 头 上 ， 而 过 去 积累 的 资 
料 zx …，2n 则 用 来 选 定 一 个 适当 的 估计 量 . 

在 上 面 我 们 只 是 说 ， 历 史 样 本 t, o, ar 中 包含 了 先 验 分 布 
五 的 信息 ， 我 们 并 无 任何 把 握 断 言 , 即使 当 no mf, 这 种 信息 
能 充足 到 足以 确定 先 验 分 布 H, 因而 也 就 没有 把 握 断 言 4. o. 经 验 
Bayes 解 必 存在 ， 事 实 上 , 即使 像 二 项 分 布 这 么 简单 的 情况 ,如 果 
可 能 的 先 验 分 布 互 的 族 .党 不 满足 一 种 很 特殊 的 条 件 , 则 a. o. 经 
验 Bayes 解 就 不 会 存在 ， 因 此 , XT a. o. 经 验 Bayes REE, 常 
有 必要 将 先 验 分 布 族 . 效 加 以 相当 的 人 为 的 限制 ， 有 时 甚至 要 限 
制 是 一 个 只 包含 少数 参数 的 分 布 族 . 但 这 样 一 来 ,就 与 我 们 引 
进 经 验 Bayes 方法 (这 个 方法 的 目的 就 在 于 克服 规定 先 验 分 布 的 
人 为 性 ) 的 初 训 有 所 背离 。 最后， 在 让 比较 复杂 的 情况 ， 即 使 
a. 0. 经 验 Bayes 解 存 在 , (6.3) 式 的 收敛 速度 也 不 会 很 快 . 

所 以 我 们 认为 ，Neyman 将 经 验 Bayes 估计 指引 进 视 为 统计 
判决 理论 的 一 个 “突破 ”的 看 法 ( 见 [18]), 在 估价 上 似乎 失 之 过 高 
当然 ,也许 Neyman 的 着 眼 点 主要 不 在 于 这 个 方法 的 实际 应 用 方 
面 ,而 在 于 它 的 理论 意义 , 即 把 古典 统计 推断 法 与 Bayes 方法 在 一 
定 程度 上 沟通 起 来 . 

下 面 举 一 个 简单 的 例子 : 
= H61 iE X—N(0, 1), BUE LO, a) - (0—a)*, 0 fj 
先 验 分 布 只 知道 属于 族 .os= (N (0, o), 070), Hm, s, m 为 
历史 样本 ， 由 于 子 在 9 的 先 验 分布 入 (0, 07) 之 下 的 边缘 分 布 为 








N (0, 140A (这 一 事实 的 验证 留 给 读者 ), 得 o? 的 估计 为 

= i-i, (6.4) 
设 当前 样本 为 v， 了 到 9 的 先 验 分 布 为 (0，69) ,由 例 3.2 知 ,9 在 
这 个 先 验 分 布下 的 Bayes 估计 为 





n 
Ôn (E |o, UT, Ta) — 4: 4 一 f m, v, (6.5) 


其 Bayes 风险 (在 22, ^, mw 固定 的 条 件 下) 由 在 (3.28) 式 中 令 
n—1 和 2 —62 rii 188] , Jj 
Raal ==, 2) 一 62/ (12-02), 
因而 得 到 5, 的 无 条 件 Bayes 风险 为 
R5 (òa) = E[62/ (1--62)]. (6.6) 

由 大 数 定律 ,以 概率 为 工地 成 立 

ó;— (14-0?) —1-o?. 
于 是 根据 (6.6), 由 控制 收敛 定理 ,得 

lim B%(8,) = 
但 这 就 是 当 oa 已 知 时 , 在 9 的 先 验 分 布 为 玉 (0, o”) 时 ,9 的 Bayes 
估计 的 Bayes 风险 ， 因 而 (6.3) 成 立 , 这 证 明了 (6.5) 确 定 的 5。 是 
相对 于 先 验 分 布 族 (N (0, o°): 0-0) 的 a. o. 经 验 Bayes 估计 . 





二 、Poisson 分 布 参数 的 经 验 Bayes 估计 和 其 他 例子 


本 段 我 们 仔细 讨论 Poison 分 布 
P(X =v) =E e (z=0, 1, 2, .3; 020) (6.7) 
的 参数 0 在 平方 损失 LO, a) = (0-a)? 之 下 的 经 验 Bayes 估计 ， 
由 这 个 例子 可 看 出 : 即使 在 不 太 复 杂 的 情况 下 , 要 证 明 某 个 看 来 自 
然 的 估计 是 a. o. 经 验 Bayes 估计 ,也 是 很 费事 的 。 这 个 例子 有 意 | 
义 之 处 在 于 , 它 对 先 验 分 布 族 的 限制 甚 少 ， 
设 先 验 分 布 为 鼠 , 则 


e. ROG + 





PX =a) TORE 6^dH(8) (a—0,1,-«) (6.8) 
是 X 的 边缘 分 布 ， 在 平方 损失 下 , 依 公式 (3.8), 不 难 算出 对 先 验 
分 布 H Wj Bayes 估计 为 
Ox (2) = (@+ 1) fn(z-1) /fu (o). (6.9) 
EH XU, 但 有 了 历史 样本 m, ey a CAA (6.8) rf di 
出 的 did. 样本, 故 由 之 可 作出 fu) BO. 为 了 避免 (6.9) 的 分 
母 为 0, 取 这 个 估计 为 


us (m, qi, t*5, Ba) 一 


L (Gn, ny mm 中 等 于 地 的 个 数 ) H0) 
(6.10) 
— EU AE (6.9) B] Fa (2) [以及 以 如 (e+ t, 25) 4 fn Qo 1)1, 
得 9 的 经 验 Bayes 估计 为 
Sn CT |ti, Wn) 
= (+1) (2+1, m, °, m) /u (0, mi, +t, Ba), (6.11) 
我 们 的 目标 是 证 明 ， 在 分 布 族 


H= ue àH (8) «el (6.12) 





ZTF, (6.11) 39 0 d) a. o. 经 验 Bayes fli]. 14 Robbins Æ [46] 
中 提 到 ，Johns 在 其 博士 论文 Li9] 中 曾 证 明了 这 个 事实 ,但 Johns 
的 工作 和 馆 未 公开 发 表 ， 下面 我 们 自己 拟 了 一 个 证 明 . 

首先 ,根据 定义 6.1, 有 | 

Ra (9,) = Eero LE S, so Oa lt *5, 2)—0)?], (6.13) 
这 里 Eu, 的 意思 是 ， 在 求 期 望 时 ，z 看 作 常 数 ，zi，…，2o 为 
iid., 每 一 个 有 分 布 (6 .8). Etc, 的 意思 是 ; 期 望 值 对 (ZX, 90) 的 联 
合 分 布 为 已 ( 见 人 (2.2) 式 ) 去 取 . 

为 了 证 明 3, 是 相对 于 2€ Hj a. o. 经验 Bayes fil, HUS UE] 
以 下 三 条 : l 

a. lim Bsa Onl X |21, t, 2,) 0)? = (8n(2) —0)* 


b. 存在 只 依赖 于 x 各 9 的 函数 Gz, 0), 1E 
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E ous Tn) [6, CX |a, iie 4) —0]?«G (s, 5; 
c. E"[G(o, 6)-|.. Go 0)dP" (x, 0) «co 
对 任何 五 ENH( 注 意 人 与 五 无 关 )。 事实 上 ,车 这 三 条 已 证 明 , 则 
B (6.15) , 用 控制 收敛 定理 ,得 
lim Ra (òn) = Ex, Sn L) —0)"] - Raða), HEF, 


而 这 就 证 明了 ôn a. o. 经 验 Bayes 解 . 
为 了 证 明 acc, 需要 以 下 两 条 引 理 : 
引 理 6.1 设 (6 £n 58) 服 从 多 项 分 布 Mp, pa, Pa): 

















P(E=m, i=1, 2, 8)= mr pio, 
RAE pc70, G1, 2, DHENE, Spo l, Simon, WA 
i--f£a Y! el Da V 4 
i) ae) +4, (6.14) 
证 有 
T 十 ca 2 2 m! nos 工 十 ms 15 
z( Id ) 之 fu 190 103! pip: P3 (3 my. ee: ) 
此 处 E RAA] ma, no, ms 在 上 述 范围 内 求 和 ， 由 于 了 <2 
a 
-- fio 
ED uui NTC ENS E 2). 
ui 50-37 (34 n3222), 
2 十 90 <I (wq = DS 
Ttm ON (m, 0, 1, 2, J, 
EN" 表示 对 TW, Na, Ns 在 > 的 范围 县 ma 之 2 求 和 , 有 
I+: Y 
z( 14-£i ) 3 
«16 E" o pe" ge py (EY 
(n; iA (na — 2) Ing! 21 
TAM wp L'p»ps 


«ie( 2.) 3-4, 
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这 就 证 明了 (6.14). 注意 此 式 的 特点 是 : 左边 与 % 有关, 而 右边 与 
n 无关 ， 

下 一 引 理 的 证 明 参 看 [19]. 

引 理 6.2 设 上 服从 二 项 分 布 Bm, p), e20. W 


P(|£/n—p| 5) « 2 exp (75 —), (6.16) 


Ab | —min( p, 1— p). 
现在 来 证 明 a. EA 970, 存在 870, 使 当 
[ww(z，24， op) — fu) | <8; 
lun (æti, wi, t, £4) —fa(2 1) | «e 
同时 成 立时 ,有 (注意 v, 9 是 固定 的 ) 
| [8,2 |w1, e, 2.) 一 由 ?一 a)l. 
另 一 方面 ,总 有 
[9,(z|va, *, 2.) 01? «2(z4-1)? [(n-1)*-- 07], 
且 由 引 理 6.2 (注意 到 当 0< 了 <m 时 ,| 527 
ln 人 充分 大 时 ,有 
Pllw ls, Xs, *%, Xn) -fu(2) >e) 
十 PC(lw(z 二 1 Xi 7, Xa) —fa(2-1) | 22) 


sm (B) 
于 是 由 以 上 诸 式 得 到 | 
[14 exp (- 22) ct - 0*5 
<E cus OL eb ds: 65 X,)—0)? 
« (By (2) —8)--x--8exp( 一 下 一) 
- [(n--1)2-- 6?] (e4-1)?, 


44» no, 再 令 1150, 即 得 
lim Dioni) [Os («| X1, 5 A.) une 0) = (òr (m) —0) " 


这 就 证 明了 a. 


(6.17) 








Y qd. b 5) 
| E dm e 
e s ? 
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为 证 b, C, 利用 引 理 6.1, 以 fs £s, £s 4r 8lid X, Tg X, d 
SF s, zw 十 1 ARBEL 又 非 2 十 1 的 个 数 , WR. £5, $2 RA 
项 分 布 Mn, pi, pa, ps), IEP pi= fu(2), pa= futi). BA 


[6, C2| Xa es Xa) -6y« «26--0* (JE) 4309, 
i 
于 是 按 引 理 6.1, 得 
Bs. LO LH X3, --:, X4) —8]? 
«8 (23-1) META +1] +20 2G (v, 0). 
显然 , G(w, 0) i EA, kb BWE. AE c, 只 需 验证 


E, [e+p (2r) ]<co (6 .18) 
E(z)-«o; (6.19) 
Eg (0?) «oo, (6.20) 


Ep 和 Eu 分 别 表示 在 求 期 望 时 X 的 分 布 为 POL (6.8), W 6 W 
44824 H. 由 :党 的 定义 知 \6.20) 成 立 ， 又 因为 
E(X?|0) —04-03, 
A H EH, 
Ep( X’) — Eu(0) + Eg (8*) <o, 
F) F uE (6.18), 注意 由 Cauchy-Schwarz 不 等 式 , 有 


(fae-1)?-( HY ' ) | [Temra g ann? gam (o) 


sher) [ e7907 an [" e-*6*** dH (0) 


wu hi0 emu. 
FEN HEHN, d 


Ey [XH KE | 





<Er | Fy D Je E auo] 


-人 S im dB (0) 一 | ^ d1 (0) «eo, 


0 6—U 








一 -一 -一 一 -一 -一 一 一 . 


这 就 证 明了 c， 因 而 证 明了 5,9829 Ô d] a. o. 经 验 Bayes 估计 .在 
[25] 中 , 对 一 般 的 一 维 离散 指数 族 证 明了 类 似 的 结果 . 
注意 在 本 例 中 ， 我 们 不 是 先 从 历史 样本 miQ 0, 4. 去 对 先 验 
分 布 作 一 个 估计 ， 然 后 再 利用 这 个 估计 作 为 先 验 分 布 以 构造 经 验 
Bayes 估计 .这 一 般 地 只 在 像 例 6.1. 那样 , 24 2€ 为 一 个 参数 族 时 
AH. ME TEX RURALES IB 五 已 知 时 的 Bayes 估计 (6.9), 然 
后 利用 如 下 的 事实 估计 (6.90 只 是 通过 X 的 边缘 分 布 而 依赖 
H. 一 般 地 ,要 a. o. 经 验 Bayes 解 存在 , 这 个 条 件 必须 满足 (不 难 
验证 例 6.1 满足 这 个 要 求 )。 下 面 再 举 一 个 例子 , 但 不 作 仔 细 论 
Wu. 
016.2. x X-—R(0,0),0—0, X 的 分 布 函数 和 密度 函数 
分 别 为 (以 下 都 是 z>0) 
Po) Pi 0<w<0, 
1, vw20, 
03, 0<w<0, 
f«(2) -| 270, 
当 乡 有 先 验 分 布 H N, X 的 边缘 分 布 函数 和 边缘 密度 函数 分 别 为 
K(a)=| aHQ)-| | 5 4H) 


(2, 


taf gO. 


BR, K(z)- H(z)--sk(s). 1E L(0, a) = (9 一 0)? 之 下 
用 公式 (3.8), 易 见 在 先 验 分 布 及 之 下 ,9 的 Bayes 估计 为 





òn (2) -| CZ, eo) SEA / f C2, 00) 7 EHE x 
= [1— X (2) +k (s)]/k (£) -v4-9(2). (6.21) 
此 处 
p(z) = s e ; (6.22) 





由 (6.21) 与 (6.22) 知 ，6n《%) 只 通过 X 的 边缘 分 布 ( 即 K (2) ) 依 
BOTH. 为 得 到 6 的 一 个 经 验 Bayes 估计 ， 只 需 从 历史 样本 t, 
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es 徊 估计 KE Q0) 及 bCw)， 一 个 可 用 的 估计 是 以 
K, (à) — (9, =, ta He 的 个 数 }/n 
估计 K (w)， 要 估计 (wm), 取 加 >0, 用 
ka (2) = [Ka (2) — Ku (2s) /hon. 
为 了 得 到 较 好 的 收敛 性 质 , 不 能 直接 以 Kn A ka f (6.22) 中 的 Kt 
和 ,而 要 作 一 些 截断 ， 具 体 说 ,选择 适当 的 a (2), 4 


v. (2) = [min (a. C0), HE) To y). 《6.23) 


x la sm [| 1a 92 122], 1<p<%, 
Ja, |. —inf(supla,(2) |: N 为 任意 矿 零 测 集 }， 
则 Fox 证 明了 : 73 
1" 4—0 20,78 lima, (2) = oo; 
2° lanl — O(V/ n), [a [$0 (/ n hy), fas]. 0075, 
3° Him A, —0, : 


则 Òn (T |T1, t, En) 一 和 十 Pr (2) y 
为 的 a. o. 经 验 Bayes 估计 (相对 于 全 体 先 验 分 布 构成 的 族 
W). 

在 此 不 给 出 这 个 结果 的 仔细 证 明 ， 读 者 可 参看 2i], Zr Fox 
的 这 个 工作 中 ,还 有 另 一 些 经 验 Bayes 估计 的 例子 .从 这 些 例 子 
以 及 我 们 仔细 讨论 过 的 Poisson 分 布 的 例子 可 看 出 ， 虽 然 构 造 一 
个 可 能 的 经 验 Bayes 估计 不 见得 很 困难 , 但 要 严格 证 明 其 为 a. o. 
经 验 Bayes 估计 , 却 无 一 定 的 方法 可 循 ,并 且 不 容易 . 

在 Sz(z) 不 只 是 通过 X 的 边缘 分 布 而 依赖 于 五 的 情况 下 ， 
a. 0. 经 验 Bayes 佑 计 多 不 存在 ， 一 个 简单 的 例子 如 下 : XR 
从 二 项 分 布 Bm, 0) O<, 在 平方 损失 之 下 ,当先 验 分 布 为 
H 时 , 依 公式 (3.8) 得 到 9 的 Bayes 估计 为 


sn 下 [.Jena-e «dH (f) + 
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(2) (1—68)"-*4 H (0) 


c 41-1 
m+ 


futi, m+1)/furle, m), 





we fis buf. ea-ovuro. 


HF falti, mt E Sule, m):2-—0,1, --., mm 的 函数 (这 
一 点 从 直观 上 看 很 明显 , 也 可 以 举例 证 明 ). 可 以 证 明 : 车 不 对 先 验 
分 布 族 2€ 作 一 定 的 限制 ,0 的 a. o. 经 验 Bayes 估计 就 不 存在 , 当 
对 3% 作 了 一 定 的 限制 ,例如 2€ 为 例 4. 工 中 的 B- 分 布 族 时 ,0 的 
a. 0. 经 验 Bayes 估计 便 存 在 . 


三 、 经 验 Bayes 估计 的 收敛 速度 


即使 {n= nT |T, e, m) 为 a. o. 经 验 Bayes 信 计 ， 即 
(6.3) 式 成 立 , 其 收敛 速度 也 可 能 很 慢 ,， 因此 从 理论 和 实用 的 角度 
看 , 研究 (6.3) 式 的 收敛 速度 是 一 项 有 意义 的 工作 .目前 在 这 方 
面 ,只 是 在 单 参 指数 族 的 情况 ,有 了 一 些 结 果 . 主要 是 Lin, Singh 
和 赵 林 城 所 作 的 . 由 于 牵涉 不 少 枝 节 且 过 于 专门 ,在 此 不 拟 深 入 
讨论 这 个 问题 了 ， 有 兴趣 的 读者 可 阅读 有 关 的 文献 [21] ~ [24 
以 下 不 加 证 明 地 介绍 赵 林 城 所 得 到 的 一 个 结果 . 

设 损 失 函 数 为 上 (6, e) = (9(9) 一 @)”, 先 验 分 布 为 刁 , 且 设 样 
本 空间 为 全 一 {0, 1, 2,…},fo(w) 为 当 参 数 为 6 时 X —o 的 概率 ， 


而 了 (w) 为 下 的 边缘 分 布 , HORAL ONE SORA 
(一 0 1, 2, -—). 假定 9(0) 的 Bayes 估计 õn w) A ÉA 
nla) = 23a, (2)f oth)/ f (2). (6.24) 


讨论 过 的 Poisson 分 布 是 (6.24) 的 特例 , 其 中 aa) — 2-1, 
a(s) =Q 当 大 入 工 。 





定理 6.1 假定 
1° Aw) Sao)f oth) «co (2-0, 1, 2, i 
2 | le l'AH(9) «co. GE 02); 





3 Sli+ MEA | f) «co (对 某 个 XE (0, 2), 
设 有 历史 样本 ca enn zw 
f (2) — (ns, …, mm 中 等 于 的 个 数 } 
估计 .fc)， 仿 | 
g(a) = È mE) fa (+k), 
而 定义 (约定 了 -0 Herom, |é, ) 


TONES l gs (2) /f nE) , * | g. (2) /fn (2) | ms 
£0, 24]. (2) /fa (2) ] 7v". 
则 可 以 选 定 适 当 的 >E (0, 1), fi 
| Rz (n) — Rn (8g) | -O(n--9»mr). (6.25) 
特别 是 , 若 对 任何 *>2,， 条 件 2° 成 立 ; 而 对 任意 接近 于 工 (但 小 于 
1) f] A, 2E 3^ 成 立 , I Hi (6.25) A, Ri (On) 一 Ra 收敛 于 0 的 
速度 可 任意 接近 于 0( 二 )， 


这 个 和 定理 的 证 明 及 其 应 用 的 例子 , 可 参看 赵 林 城 [26] , 








四 、 复 合 判决 问题 


设 某 厂 生产 一 种 产品 ， 其 质量 指标 服从 分 布 (G9,，1). 但 9 
并 非 固定 而 是 随机 的 . 例如 , 可 设想 为 0 的 值 逐 日 有 些 波动 ,因此 ， 
可 以 认为 6 有 一 定 的 概率 分 布 豆 . 现在 对 某 特定 的 n 天 中 ,每 天 
抽 了 一 定 的 样本 , B i RH ww 一 共 得 到 样本 w，…，z。 要 估计 
这 特定 的 ”天 的 0 值 0，…，0. | 

这 个 问题 看 起 来 与 经 验 Bayes 的 问题 提 法 很 相似 ， 实 际 上 则 
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不 同 ， 差 异 之 处 在 于 这 里 推断 的 对 象 为 91,-…, On 而 不 是 9 的 当 
前 值 go。 因 此 , 本 问题 的 损失 函数 一 般 有 形状 


L, Ut; 0,; Qi, t*5, ds) => L0. ai). 


整个 问题 可 以 看 作 是 由 ww 个 “分 问题 "合并 而 成 的 , 故 得 到 ”复合 判 
决 问题 ”(compound decision problem) pZ i. 自然 人 们 立即 
会 合理 地 提出 这 样 一 个 问题 ， 把 许多 分 问题 合并 在 一 起 去 考虑 ， 
是 否 有 什么 利益 .这 个 问题 的 仔细 分 析 奉 涉 面 较 多 , 在 此 就 不 细 
述 了 .但 有 一 点 要 交代 一 下 : 在 上 述 提 法 中 ，% 个 分 问题 中 的 01, 
es, 9。 是 9 的 nw 个 独立 “观察 " 值 ， 因 此 联合 起 来 以 后 ,利用 v1， 
e, c, 可 得 到 9 的 先 验 分 布 的 信息 . 这 样 , 将 分 问题 合并 起 来 ， 显 
然 是 有 利 的 且 可 借用 经 验 Bayes 方法 来 处 理 ， £i T o F, n 
个 分 问题 中 的 参数 0，…，b 不必 有 任何 关系 . 在 这 种 情况 下 ,将 
它们 联合 起 来 去 处 理 的 好 处 在 何 处 , 就 不 是 很 明显 的 了 。 有 兴趣 
的 读者 可 参看 [26]. 


$7 Minimax f ilt 


作为 判决 函数 的 一 种 优良 性 准则 ，Minimazx 原则 已 在 第 一 章 

提 到 过 了 . 说 起 来 , Minimax 原则 是 一 个 “ 自 成 一 统 ” 的 准则 , 并 
不 是 附属 于 Bayes 准则 的 .特别 是 ， 有 些 Bayes 学 者 甚至 否认 
Minimax 准则 是 否 值得 考虑， 原因 在 于 ， 在 Bayes RAX, 有 
一 些 “ 合 理 的 基本 原则 ” 导 敏 Bayes 准则 ,而 Minimax 准则 与 这 些 
“合理 的 基本 原则 ”有 所 径 庭 . 当然 ,也 可 以 举 出 一 些 反面 的 《有 利 
于 Minimax 准则 的 ) 论 据 来 ， Minimax 准则 的 研究 在 数学 上 的 
深入 程度 并 不 比 Bayes 准则 差 . 何况 ,即使 以 “ 歼 备 一 格 ” 的 态度 
来 看 待 这 个 问题 , Minimax 准则 在 判决 问题 中 占据 一 席 之 地 总 归 
是 合理 的 .至 于 此 地 将 Minimax 估计 作为 本 章 的 一 节 来 叙述 , 是 
因为 这 个 内 容 专 设 一 剖 不 大 好 处 理 。. 而 本 节 人 叙述 的 求 Minimax 
解 的 方法 与 Bayes 方法 有 密切 的 联系 ， 与 Minimax 解 有 关 的 为 
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一 些 内 容 将 在 以 后 有 关 的 章节 中 叙述 

先 回顾 一 下 Minimax 解 的 正式 定义 ， 设 参数 空间 为 9, 统计 
判决 函数 6 的 风险 函数 记 为 BC(9, 8). 注意 ， 此 处 并 不 排除 序 贯 
抽样 的 情况 ， 因 而 RO, 5) 也 可 以 是 指 9 的 包括 平均 费用 在 内 的 
总 风险 . St. 是 所 考虑 的 判决 函数 类 (例如 , 一 切 序 贯 或 非 序 贯 
的 判决 函数 的 类 , 一切 样本 大 小 为 的 固定 判决 亢 数 的 类 , 或 它们 
前 非 随机 化 的 判决 函数 的 子 类 , 等 等 ) 而 6° € 7. 

定义 7.1 车 

sup{R(O, 68") :0 €6) - inffsupéR(9, 5):3€ 7), 


则 6” 称 为 (所 提 判 决 问题 ) 在 多 中 的 Minimax 解 . 

在 序 贯 的 场合 , 问题 的 提 法 还 可 以 多 样 化 ， 例 如 ,在 对 平均 费 
用 或 因 “ 行 动 错误 ”而 造成 的 风险 中 的 一 个 加 上 一 定 的 约束 ， 而 对 
另 一 个 使 用 Minimax 原则 , 等 等 . 


一 、 用 Bayes 方法 求 Minimax fg 


定理 ?.1 设 存在 先 验 分 布 五 , 使 在 此 先 验 分 布 之 下 的 Bayes 
解 55 HAREM RO, 94) 在 8@ 上 为 一 个 有 限 常数 ce， 则 Ou 为 一 
Minimax 解 . 

证 Hòs KE Minimax 解 , 则 将 存在 判决 两 数 65, 使 

sup{BR(O 6):0€0}<o, 

Bj 对 一 切 9E€8B, 有 BRO, 5)<R(O, 8x). 
这 时 有 

Ra (3) -| R(8, 5)dH (6) e RO, 5)dH (8) = Ra (8x). 
因而 与 94 为 Payes A TJA. EREE, 

定理 Y.2 设 {Ho 为 一 串 先 验 分 布 ,其 相应 的 Bayes 解 的 序 
列 为 413, 而 判决 函数 8 满足 条 件 | 

cosup(R($, ò) :0 € 8) «lim sup Ra, (Ön) ^c, — (T.1) 

m ô 为 一 个 Minimax f&. 

证 用 反 证 法 : 设 6 不 为 Minimax 解 ;, 则 在 在 判决 函数 5 ,使 
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sup{fR 6°):0€0} «csup(R(0, 85:0€c0]1 S e'« 
H<, AmE 0, 使 


对 一 切 9E€6, 有 RC9, 9*) 和 0 一 28. (7.2) 
由 6 的 定义 , 知 存 在 充分 大 的 入 ,使 


Eg, (Oy) > 一 3。 (7 ,3) 
于 是 由 (7.2) 及 (7.3) ,得 


Rg, (8") = f R (B, AH (8) e 一 3e<o — «Ba, O). 


这 与 5x 为 先 验 分 布 Hy 之 下 的 Bayes 解 相 了 矛盾 ， 定理 证 毕 . 

定理 7.1 的 应 用 面 较 牵 ， 因 为 找到 适合 定理 条 件 的 先 验 分 布 
不 容易 或 不 可 能 .定理 了.2 的 应 用 较 广 。 用 这 个 方法 , 关键 在 于 
找到 一 串 合适 的 先 验 分 布 { 吾 5. 在 [28] 和 [29] 中 也 使 用 这 个 方 
R Minimax 解 ， 下 面 举 几 个 较 简单 的 例子 . 

例 7.1 ZE X RAZI Bi, 0), O«O-1, d m 
数 为 LI(9, à= (0 一 @)”， 在 例 3.1 中 ,我 们 已 找到 先 验 分 布 
B(Mn/2，MVm/2)， 其 Bayes 解 (3.19) 的 风险 函数 为 常数 
(3.20)，、 故 (3.19) 就 是 9 在 上 述 损失 函数 下 的 Minimax 估计 . 

通常 用 的 估计 量 为 w) =w/n, 其 风险 函数 为 6(1 一 9)/m, 有 

E 
ur EXUES ) 
故 ò" (e) —2/n 不 是 9 的 Minimax 估计 ， 但 不 难 验 证 ， 若 损失 函 
数 改 为 


BUD R(0, 5*) = 


L(0, à) = (0—a)?/(8(1—80)), 0—0-—1, 
则 s/n 3j 0 的 Minimax fbt., 
例 7.2 Hte, … cov XB IN (0, DH did. 样本 , 损失 函数 
3j L, a) = (0—a)?. 3% Minimax fff. 
取 一 串 先 验 分 布 N (0, 39) (=l, 2, …) ,根据 例 8.2 知 . 在 此 
先 验 分 布下 ，69 的 Bayes 估计 为 (3.21)， 其 风险 函数 为 (8.22), 


1) 在 成 平 的 工作 区 7 中 有 一 些 这 方面 的 较 复 杂 的 例子 ， 可 供 读者 参考 ， 
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Bayes 风险 为 (3.28)， 后 者 当 +>co 时 有 极限 工 ， 而 这 正 是 
zl Mee, 于 是 (7.1) 适 合 ， 由 定理 7.2 NA X REO 


nN 4-1 
的 Minimax fiit. 

除了 这 个 使 用 先 验 分 布 的 方法 外 , R Minimax 估计 的 另 一 种 
方法 是 基于 辐 变 估计 的 概念 ,这 在 本 书 中 将 有 讨论 但 这 个 方法 
也 只 适用 于 某 些 性 质 比 较 特殊 的 问题 ， 因 此 ,能 求 出 Minimax 估 
计 的 情况 为 数 很 少 ， 这 也 是 Minimax 原则 在 使 用 上 的 一 个 缺点 ， 
与 Bayes 原则 相 比 较 : R Bayes 估计 有 一 般 的 、 容 易 实 施 的 方法 . 


二 、Minimax 估计 为 随机 化 估计 的 例子 


在 第 一 章 中 介绍 随机 化 判决 函数 时 ， 我 们 曾 指出 过 这 个 概念 
”在 应 用 上 意义 不 大 ， 但 在 理论 上 却 有 一 席 地 位 ， 在 假设 检验 的 
Neyman- Pearson 理论 (参看 [32]) 中 ,必须 考虑 随机 化 的 检验 .在 
Bayes 方法 中 随机 化 判决 函数 没有 作用 , 但 是 在 Minimax 估计 中 
则 不 然 . 

如 果 假 定 损失 函数 为 凸 的 ， 则 根据 1.6 节 中 给 出 的 关于 非 随 
机 化 的 充分 性 原则 , 不 难 知道 ,在 寻求 Minimax 估计 时 ,可 以 局 限 
于 只 考虑 非 随 机 化 的 估计 . 事实 上 , 这 只 需 注 意 样本 ”本身 是 一 
个 充分 统计 量 就 够 了 . 

但 是 , 在 损失 函数 非 凸 时 ，Minimax 估计 可 以 是 随机 化 的 ,下 
面 这 个 有 趣 的 例子 是 Hodges 和 Lehmann 的 工作 . 参看 [31]. 

例 7.3 设 且 ~B(n, 0), 00«1, HRAN LO, a) - 
|ó—a|', 0<r<1, r En. W 6 在 一 切 估计 类 多 (包括 随机 化 的 
和 非 随机 化 的 估计 ) 中 的 Minimax 估计 必 为 随机 化 的 

以 .多 iE O 的 一 切 非 随机 化 估计 我 们 先 证 明 : 9 的 在 .多 中 
的 Minimax 估计 和 9 在 .Fi 中 的 Minimax 估计 都 存在 先 考 由 
多 的 问题 .因为 样本 空间 只 包含 w+ 个 点 0 1,…, nm。 任 一 随 
机 化 估计 可 表 为 

F = (Fo, F, v FQ) 
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o —— —— 0€ M —ÁÀ—— 


的 形状 ， 这 里 对 每 个 =0, 1, =, 0), FA [0, 1] 区间 上 的 一 
个 概率 分 布 ， 每 当 抽 样 得 到 z= 纪 ,就 根据 分 布 FOTO, 妃 中 抽出 
一 个 点 作为 8 mdi. A 


RO, P) -Bblm, 4, Of 0-a) TA 


Wt, Ah b(n, 4, 0) = c 6 (1—0)"7*. 
BERE E OEE, 1), # RO, F)«1, d 
m(F) = sup R (0, F)«l1, 

而 

m —inf m(F) <i, (7.5) 
这 里 inf 3j ERE, RRO (FP, es, FP), k= 
L, 2, e), 使 

lim m(F®) =m, (7.6) 
EIE 4, WFO, k=l, 2，…} 为 一 串 概率 分 布 , 其 概率 全 集中 
在 [0, 1] Pj, Hik Helly 定理 ， 从 其 中 可 取出 一 个 子 序列 , 依 分 布 
收敛 ( 记 为 一 > ) 于 某 个 分 布 Fi, BA Fi 的 概率 全 集中 在 [0, 1] 
Pj. BP à RE n--1 4 MEÉEO, 4，…, n, 可 找到 自然 数 的 一 个 子 序 
列 ,不 妨 假 定 就 是 ,2,--) 本 身 ,以 及 其 概率 全 集中 在 [0, 七 的 
分 布 F, (4-0, 1, t, n), TH 

FPF; (MX boo $70, 1, =s, n). ( .7) 

现 考虑 随机 化 的 估计 


BE F, e, FO, (7.8) 
则 有 


n 1 
R(9, F*) - ibn, i, O)| |9— l'ai y) 
n 1 
-lim $15(, à, 6) {10 -ular (y) 
= lim R(0, FH) «lim m (F9?) =m, 
Koo k9o 


xj 6 € [0, 1]. 
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BT m 一 sup R(9, FP «m, 这 便 证 明了 太 是 0 的 随机 化 
Minimax flit. | 
多: 中 Minimax 估计 存在 的 证 明 更 简单 . 记 
m -inf(m(8):5€.71). (7.9) 
此 处 仍 如 前 ,2z (9) = sup R(0, 8)， 找 一 串 {6x: b—1, 2, =}, 使 
lim m(5x) 一 m。， 由 于 9,(4) 34 4—0, 1，…, n R k=l, 2, - 全 在 


[0, 1/5, 存在 自然 数 的 子 序列 ,不妨 设 就 是 {1，2,…]} 本 身 , 使 
lim 586) 存在 且 记 为 d(6 一 0, 1,-, 从， 引进 估计 0:3 G) - d 
一 0, 1, =, m), 则 不 难 证 明 m (9*) f, BP ò" 3 Fa rp f Minimax 
估计 . 
现 证 (7.9) 中 的 mw 小 于 1， 事实 上 ,对 任何 5E.F1, 有 
RC, 5) - 33b, à, 0 882) |*. 


W ò, i$ 8(0) —1—8(n) —0, ?4 i=1, -, % 一 1 时 , 0:5 (2) «1, W 
A RO, 8) - R(1, 8) -0.. X II Ox: (3) <L, ff 


R(9, 8) «max(16]*, |1—6])33 b(n, à, 8) 
<$ b(n, à, 8) =1, 4 0<0<1, 


再 由 RO, 56) 作为 9 的 函数 在 [0, 如 上 的 连续 性 ,有 
sup R(0, © <1, 
故 更 有 仙 之 1 0«8 «1 
以 下 来 证 mr>>mp， 证 明了 这 一 点 ,也 就 完成 了 本 题 的 讨论 . 
H mò“) =m w Oi KE O=, 将 有 
R(0, 8) -10—8*(0) | 一 工 
Wim" 1, 这 与 已 证 的 名 < 工 不 合 ， 现 有 
RO, ©) =EVb(n, à, 89)|0—25*(0)]' 
t Z9 (n, à, 8) |0—5* EL, 
此 处 EO 和 EO 分 别 表 示 对 满足 3 (2) — 95" (0) f à RA tS) 3 
Æ 5'(4) 5" (0 Bj i RKM, in RO, 5) —dR/d0, H D*O HAR 
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域内 , 显然 CTsy/cg AR, 注意 到 5*(0) <1, 1k 07-5" (0) mii 6 — 8* (0) 
充分 小 时 ， 有 bn, 0, 00 >0.， 于 是 当 0>8 00) 且 与 (0) 很 接近 
时 ，d7a/ 吃 接近 oo. 这 说 明了 了: 在 (0) 右边 很 小 的 范围 内 ， 
R(0, 5) 为 9 的 严 增 函 数 ， 由 于 sup RC(9,6”) m, R (0), 8) 
<< 双 .类 似 的 推理 可 证 明 R(' (n), 9) < 加， 由 于 R,97) A 0 à 
连续 函数 ,存在 670, 870, 使 

当 [0—5'(00| <8, R10- (n) | <£ 时 ， 

R(0, 8*) «m -—2s, (7.10) 

现 定义 随机 化 的 估计 5 如下; 取 定 a€ (0, B), 而 令 

5(6*(w) |»2) =1i， 当 w=1,…., nn 一 1 时， 


8 (8* (0) --a|0) —8(8*(0) —«|0) = 1, 
8 (5* (n) --a|n) =" (n) —a |n) =F. 
则 有 

R(0, 8) — R(0, è”) 


= (—6 [Z 16—8' (0) +al 
1 " r * r 
516—890) -al 一 19-5 0)" | 
+0” [1.16 一 "Cn) --a|* 


+1 jg- (n) -a|*— |8—3* n) l" | 
=J tJa, (7.11) 
HBt a € (0, B) 充 分 小 ,显然 可 使 
| Jil + |Ja] <e, *5—3 0€ [0, 1]. 
因此 , d (7.10), 得 
当 19 一 6*(0) |j 和 wx 或 10 一 (n) | <a 时 ， 
R(0, 5) « R(0, 8*) +e<m—e, » (T12) 
Æ |0—95'(0) | >a fll |0—5* (n) | >a 同时 成 立时 ， 则 因 函数 
— |e|' H «2-0 Ab 3 PE P GERE Or), 立即 得 出 Ja 与 Ja 的 表 
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达 式 中 的 方 括号 内 的 景 都 小 于 0。 由 于 9 和 1 一 9 不 同时 为 0， 当 
18—5*(0 | >a $11 |0—8'(n) | >a 都 成 立时 ,有 
R(8, 5) « R(60, ò”). 
由 此 及 (7.12), 并 注意 到 RCO, 5") MRO, 5) 都 是 9 的 连续 函数 ， 
则 得 | 
qn (8) = sup R(0, 8) < sup R(8, 5*) =M., 


故 更 有 mm 一 inf md) <m， 这 就 证 明了 : 多 中 的 Minimax 估计 决 
PRERE ZA. 


问题 与 习题 


1. 为 了 定义 Bayes 风险 Rg (9), 需要 证 明 RO, 6) 的 Ze- 可 测 性 (此 处 
6 可 以 是 随机 化 的 )， 问 ， 为 证 此 命题 需 对 损失 函数 LC(90, a) 加 上 什么 条 件 ? 
如 何 证 明 ? 

2. 证 明 由 (3.8) 式 定义 的 平方 损失 下 的 Bayes 解 为 2,- 可 测 的 ， 

3. 证 明 引 理 3.2, 并 由 它 推出 Bayes 解 . 

4. 证 明 4.3( 一 ) 末 尾 处 的 结论 ; 仔细 证 明 例 4.4~ 例 4.6 中 未 证 的 结 
论 . 

5. a) ik X-B(n, 0), 0<6<1 损 失 函 数 为 了 工 (6, a) =(90—a)?, 证明 
6(z) =x/n 为 Bayes 估计 , 并 指出 相应 的 先 验 分 布 ; 若 9 限制 为 0<9<1， 则 
6(z) 不 是 Bayes 估计 ,但 它 在 两 种 意义 下 都 是 广义 Bayes 估计 . 

b) ik X-—2(0), 92(0) 为 参数 为 96 的 Poisson 分 布 , 0>0, UERR: ôC) 
=r 为 在 平方 损失 下 、 在 某 个 先 验 分 布下 9 的 Bayes 估 计 . 但 若 & 限制 为 
9> 0, 则 6(z) 不 是 Bayes 估计 ， 不 过 在 两 种 意义 下 都 是 广义 Bayes 估计 . 

6. 著 S(z) 为 9 的 无 偏 估计 ， 且 对 任何 OEG@， 有 Oc Var,(z) «o, eoo 
为 常数 。 试 证 明 : OQ dE O0 的 Bayes 估计 ; 利用 本 题 的 结果 考察 第 5 题 及 
fj 5.1. 

7. i$ X—B(», 0), Y~B(n, 0, X, Y hv. (6, 02 的 先 验 分 布 
3g: Or, 09 独立 , 都 服从 均匀 分 布 BR(0, 1). HUE LOL Ow a) 一 [bs 一 
0) 一 二 2( 这 表示 要 估计 2 一 20)。 求 Bayes 估计 . 

8. 举 一 个 简单 例子 证 明 ; 不 同 的 先 验 分 布 可 以 导致 完全 相同 的 Bayes 
解 . | 





9. 设 人 ~BG 9， 已 证 在 平方 损失 7Z(2，d) — (0-2)? 之 下 ， 
ncc. so. NEM 
USE a Taara) 

为 2 的 Minimax 估计 .利用 这 个 事实 证 明 6(z) 为 6 的 可 容许 估计 . 

10. ikX-B(nm, 9)， 利 用 r/n 为 在 损失 函数 也 (9, aq) 一 (9 一 0)? 之 下 ， 
适当 的 广义 先 验 分 布 的 广义 Baye 解 这 个 事实 ， 证 明 它 是 6 的 可 容许 估计 。 
IE]: 这 个 方法 可 否 用 于 证 明 z 作为 W(9, 1) 的 6 的 估计 (损失 函数 为 (一 仆人 
的 可 容许 性 ? 

11. WE Li, Xs 为 抽 自 均匀 分 布 R(O0, 0); 0-0 的 üd FER, 损失 函数 
73(8 —a)?, sk 0 Bj Minimax 估计 . 

12. dz, s wn 为 油 自 R(0- 3. 063) Cee ooi iR, 


MRAR (a—0)?, SK 0f] Minimax 估计 . 

13. 指定 实数 人 和 ?-0, pp in—33-—14&258& 3800], 3539 48 29 
p, 方差 为 v, iE X-—N(0, 1), REA 

6* (x) UE 

有 这 样 的 性 质 ， 它 使 有 (6) sap{Ra(0): 瑟 E93} 达到 最 小 ( 即 对 任何 0, A 
/0 ) «X(8)). 

14. ER: 若 某 先 验 分 布 之 下 的 Bayes 解 6 唯一 , 则 6 必 是 可 容许 的 .用 
这 个 事实 证 明 : 若 X — N (0, 1), 则 在 平方 损失 之 下 , 6 o, b (x) =ar +b 34 0a 
<l 时 ， 必 为 可 容许 的 ， 

15， 举 例 说 明 : 相对 于 广义 先 验 分 布 的 (广义 )Bayes 解 不 必 是 可 容许 的 


[ 注 ， 考 虑 2~G (2, 2), PIRRO NO, oo)), Fx s aoo]. 


16. 设 人 ~N(9, 1)， 先 验 分 布 族 为 GO~N(p, T), -©<u<0, 0< 
T?<oo, 试 找 出 一 个 针对 这 先 验 分 布 族 的 、6 的 经 验 Baye 估计 (损失 为 平 
Jj (8 —a)5. 

17. ik X—N(0, 1) ,损失 为 (9 一 2?， 试 证 明 : 在 任 一 先 验 分 布 G 之 下 ， 
0 的 Bayes 估计 可 表 为 

Og (2) — z-- fa(2)/fo(z). 
此 处 fe 为 X 的 边缘 分 布 密度 . 
18. ik X 的 分 布 为 一 维 连续 指数 族 
folx)AT=ce(0) ew dr, OEO, | 
此 处 QO 在 介 上 是 非 降 的 ,又 tz) 对 z 可 微 ， 试 证 明 在 平方 损失 下 对 任 一 
先 验 分 布 G, 0 的 Bayes 估计 6e(z) 为 > 的 非 降 函数 ， 
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19. i X—N(0, 1), 先 验 分 布 为 NCO0, D, RAA 
L(0, a) -exp(30?/4) (0 — a)?. 

试 证 明 ; a) 在 定义 2.2 之 下 , 任 一 估计 6(z) 都 是 Bayes 估计 ; b) 但 是 若 按 
“后 验 风 险 最 小 ”的 方式 来 定义 Bayes 估计 ， 则 这 样 的 Bayos 估计 ð* @) 是 
唯一 的 ， 试 求 出 这 个 估计 ; 0) 证 明 6* 不 可 容许 ( 注 ; 与 61(2) =r 比较);d) 如 
果 将 损失 函数 改 为 exp《93/4) (0 — a)?, 而 其 他 不 变 , 情况 如 何 ? | 

20. ik XP, 0 为 一 维 参 数 , 且 E(X) =0. 38 A838 79 (0 — a)?, 0 85 
先 验 分 布 G 满足 条 件 | 

f^ eae «oo. 


在 6 固定 时 作 两 次 独立 抽样 X, Y. vL se(o) 记 在 样本 买 的 基础 上 所 作出 的 


9 的 Bayes fit. 试 证 明 : 
ôe CX) - E* CY] X). 


这 里 E 表示 在 求 条 件 期 望 时 ,(X, Z) 应 理解 为 边缘 分 布 , 即 其 分 布 P* 为 
P'(X€4, YEB) =| Ps(4)Po(B)4G (0) (@ 为 参数 空间 ). 

21， 设 参数 空间 和 行动 空间 都 只 包含 两 个 点 和 94%} C 0o 0102 9). 
当 0—0, By, X 的 分 布 是 W(b。 1 假定 损失 和 函数 是 “0-1” 的 , 即 LO, a) -0 
或 1， 视 0=a 或 否 而 定 。 斌 对 本 问题 构造 出 一 个 ( 针对 一 切 先 验 分 布 的 族 
的 )a. o. 经 验 Bayes 解 (当然 ,本 问题 实质 上 是 一 个 检验 问题 ). 

22. 设 XP, 0 为 一 维 参 数 ,损失 函数 为 Ca 一 9)?， 先 验 分 布 族 为 

s-|a:| Pda<o} (@ 为 参数 空间 )， 


以 sc 记 先 验 分 布 为 G 时 ,6 的 Bayes 估计 , 而 Fe 为 X (在 先 验 分 布 G 之 
下 ) 的 边缘 分 布 ， 试 证 明 

对 任何 GE 有 |, BAF) «oo. 
现 候 定 


a) lin | 
Lo9J (z:10,C22]». D) 
这 积分 对 天 中 的 G 一 致 趋 于 0); 

b) {ðn (xz, Nas 95) T 7J— t £e UST Bayes 估计 ， 使 对 每 个 T 及 GEF, 有 


53(Go)aze(z) =0 3} GEF 一 致 成 立 ( 即 : 当 L oo Mf, 


P 
Ga(T| X4, 13 Xn) ~ 一 > ôg (2). 
又 对 任何 a>0 及 b, blait a, b 或 — a, 视 ba, lb] <a 或 < 一 a 而 定 ， 
试 证 明 : 可 适当 选择 Ln, 使 


CAET 8, Dn) = [ón |T t Zn) ]z, 
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为 相对 于 先 验 分 布 族 F 的 a. o. 经 验 Bayes 估计 , 
23. iE X—N,0,2),p»3, 220 已 知 : W 
m=(p—2)/2; p=—m/ Cm+1). 
又 选 定 p EIL p 阶 正定 方 阵 4， 给 出 9 的 广义 先 验 密度 为 
dG (€) — (0580 
= Qu)- | F BOI exp[ - 160 - 571050 — uaaa hae, 


此 处 BO) =pPLX-1(C3+4) - j Tü| BOO 1 表示 BAKTIR. AHE 
此 广义 先 验 分 布下 , 依 “后 验 风 叭 ”最 小 原则 算出 的 (广义 )Bayes 解 为 

Brie. r((z—u)'(3- AY 1(z- /pS D+ A) 
(x — A) (3--A) 1(x— pw) 
此 处 r(v) NE : ) 

| Ancig-O—1)0/2 dA 

为 了 叙述 以 下 两 题 ， 先 介绍 一 个 概念 ， 设 X gh EC Cog 0 B1) 79 

F' (2.0), rfj 0 &] 253 23718 73 dG (0), 则 关 的 边缘 分 布防 数 为 
Fa) - |. FGl6)a8 (5. 

著 拓 为 9 的 一 个 先 验 分 布 族 ， 且 当 G1 EZ GaE98， 而 Fa, 二 Fg, 时 ， 必 有 
G1—G3, 则 称 G( 届 限于 和 时) 是 “可 以 状 识 ?的 ， 当 多 为 一 切 先 验 分 布 的 族 
时 , 就 称 G 可 以 辨识 . 

24. a) 设 了 (Z| 四 是 参数 为 6 的 Poisson 分 布 (0>>0), 试 证 明 G 是 可 以 
辨识 的 ， | 
b) i& F(x|0) 为 二 项 分 布 BN, 0), 0«0-«1, 试 证明: € N2, 则 对 
先 验 分 布 族 元 ={1B(a 5): a>0, b>0}, G 可 以 辨识 但 对 一 切 先 验 分 布 族 
则 不 然 . 

25. i fdr 为 一 维 密度 函数 , 其 特征 函数 处 处 不 为 0， 而 

Fal [fd Coe x9. 


试 证 明 G 可 以 辨识 . 


(z— p); 
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第 五 章 参数 估计 的 大 样本 理论 


参数 估计 问题 是 利用 对 总 体 的 抽样 结果 来 估计 总 体 的 真 参 数 
或 其 函数 的 . 当 样 本 的 大 小 (容量 ) 无 限 增 大 时 ,估计 是 否 副 近 真 
值 ? 以 什么 样 的 速度 逼近 ? 它 的 极限 分 布 是 什么 ? 这 显然 是 数理 
统计 中 的 一 个 根本 问题 ， 无 论 是 从 理论 意义 上 或 是 从 应 用 角度 上 
来 看 , 它 都 占有 很 重要 的 地 位 . 因此 , 它 一 直 是 数理 统计 学 家 所 注 
意 研究 的 对 象 . 历史 上 的 著名 人 物 ， 如 Gauss, Pearson, Fisher, 
Neyman, Cramér, Wald 等 在 大 样本 理论 中 都 有 过 杰出 的 贡献 ， 
在 近代 , 它 仍 然 是 数理 统计 学 家 所 注意 研究 的 项 目 . 本 章 将 介绍 
这 方面 的 基本 概念 和 内 容 , 也 就 是 回答 开头 所 提 到 的 三 个 问题 .一 
个 佑 计 在 子 样 大 小 无 限 增 大 时 , SÉ ARERR, 则 称 它 为 相合 传 
i. 从 直观 上 说 , 估计 的 相合 性 是 在 大 样本 理论 中 或 者 说 在 渐 近 
理论 中 对 估计 的 起 码 要 求 . 第 二 个 问题 是 收敛 速度 问题 ,这 里 首 
先 要 分 辨 出 收敛 速度 的 阶 或 者 量 级 ， 其 次 是 在 同一 量 级 中 如 何 进 
一 步 比 较 优 劣 , 在 比较 优 劣 时 又 可 以 从 各 种 不 同 的 角度 上 来 考虑 ， 
从 而 产生 种 种 不 同 的 标准 . 第 三 个 问题 是 ,在 同一 量 级 中 , 估计 的 
极限 分 布 是 什么 ? 这 个 问题 又 与 第 二 个 问题 有 密切 联系 ， 从 极限 
分 布 的 性 状 , 可 以 比较 同一 收敛 量 级 的 估计 的 优 劣 。 上 述 这 些 估 
计 优 劣 的 比较 ,不 仅 要 求 所 比较 的 收敛 的 阶 或 者 量 级 相同 , 还 得 限 
制 在 某 类 估计 中 来 比较 .比较 好 的 估计 一 般 称 之 为 渐 近 有 效 售 
i. 当然 , 由 于 采用 的 比较 标准 不 同 , 会 有 种 种 不 同 的 浙 近 有 效 估 
计 的 定义 .下面 分 节 对 上 述 的 基本 原则 和 内 容 进 行 论述 , 


$1 概论 及 预备 知识 
一 、 相 合 估计 的 定义 
我 们 设 (Yas Bens Pa) (n1, 2, …) 是 一 串 概 率 空 间 ， H 
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(2,, Bad C (X. Bands HP Pn — {Pr,o, 09€ 0) (n- 1, 
2,2, 0 为 参数 空间 在 本 章 中 , 我 们 总 假定 6@ 是 p 维 欧 氏 空 
间 上 的 开 集 或 开 区 域 ， 并 假设 Pahn, Un N (CS, Be Eo- 7H 
MWEE. 记 p.(m, O) =d P, (2,) /dn. 

在 本 书 中 ,讨论 的 情况 绝 大 多 数 是 Zn, Bo = (xix 
XJ, Max x Xs), Pao Proa) (n—1,2, =). 


也 就 是 说 , MAAE, Za Pi) (CEO) 中 独立 随机 地 抽样 ， 其 
结果 为 X31, Xs, uo" HI Jy — 8 tid, 随机 变量 . 在 个 别 场合 ， 3H 
样 结果 不 是 来 自 同一 总 体 , 而 是 来 自 不 同 总 体 , 例如 在 线性 模型 中 
就 是 这 样 , 它 就 是 前 面 提 到 的 一 般 情况 . 
设 Ôn 为 (2 及) > (R^, BP) 可 测 变 换 , 则 称 人 0} 为 9 的 
估计 序列 ,其 中 Ôn KREERTE Bn E Zn, 
定义 1.1 我 们 称 {6,} 为 和 的 相合 估计 ， 如 果 对 一 切 gE@ 
以 及 任 一 正 数 s， 总 有 
lim P,,of|0,—0|>e} —0. (1.1) 


此 处 | 名 一 9| 表示 Ân 与 9 的 欧 氏 距离 。(1.l) 式 也 记 为 各 一 6. 
如 果 进 一 步 假 设 对 一 切 9E6, 总 有 
lim P, ( U {lh—0l>e} )=0. (1.3) 
其 中 Po EHE (Zo, 2a) 上 的 由 (Ps n-1, 2, …]} 产 生 的 概 
率 测度 , 则 称 Ân 为 9 的 强 相合 舍 计 , 记 为 6 一 9 a. s. Po. 
不 难看 出 , 若 0, 为 0 的 强 相合 估计 , RAD ECL) RR SC 
的 相合 估计 , 因此 , 我 们 又 称 这 种 相合 估计 为 弱 相 合 估计 . 
定义 1.2 我 们 称 {6,} 均 方 收效 于 9, 如 果 对 一 切 6EG@, 有 
lim E,(18,—0|?) =0. (1.3) 


不 难 验证 ， 若 {6,} 均 方 收敛 于 2, W (0,) 是 9 的 相合 估计 . 
这 是 因为 对 任意 的 s>0, 有 
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PA(10,— 022) «— E08,—0])-0. (n> o), 


ELLI B (£25 为 一 随机 变量 序列 , 如 果 存 在 0705, B. 
lim om- 一 co, 使 对 任意 的 60, 有 


lim P{]on£n| >86} =0, a4 


则 说 (£ 比 cz! 以 更 快 的 速度 依 概 率 趋 于 零 , 记 为 Eao’). 
如 果 仅 使 得 | 
lim lim sup P(]e £4] >L} —0, | Q.8) 


则 称 长 4 以 不 低 于 cz 的 速度 依 概 率 地 趋 于 零 ， 记 为 
és ap (0) 
定义 1.4 我 们 称 (Ân) 为 9 的 {cz 二 阶 相合 估计 ,如 果 对 任 
— 0€0 及 任 一 8>>0, 存在 充分 大 的 Lo, 4 L>Lo 时 , 有 
lim sup Pn,oflen(0,—0) | >L} «s, (1.6) 


此 处 o 为 一 串 非 奇异 阵 , 24 n — oo Bf, z^ — 0, 

读者 不 难 发 现 , 这 些 定义 也 可 以 拓 广 到 强 相合 估计 上 去 . 由 于 
本 书 较 少 用 到 , 在 此 就 不 叙述 了 . 

定义 1.4 是 比较 有 收敛 于 日 的 速度 ， 另 一 方面 , 我 们 也 可 以 
比较 P.(10,—0|7 6) 这 个 概率 收敛 于 0 的 速度 . 

定义 1.5 如果 对 任意 小 的 s>0 及 任意 的 PEB@, 当 (0,70) 
时 ， lim ca 一 co， 而 

lim supenP.o{fl6, —0l>s}<%. Q7) 


则 说 相合 估计 6, 收敛 于 真 值 6 的 概率 是 以 {cx 了 7 的 速度 趋 于 0， 
或 简称 为 o ER. | 
下 面 , 我 们 着 重 研究 它 的 指数 速度 . 因为 不 少 常见 的 合计 是 
以 指数 速度 收敛 的 . 
为 了 确切 给 出 渐 近 有 效 估计 的 定义 , 还 必须 有 若干 预备 知识 ， 
从 直观 上 想 , 一 个 估计 的 好 坏 , 主要 看 这 个 估计 能 否 更 准确 地 区 别 
参数 的 真 值 和 非 真 值 。 这 就 涉及 区 分 真 值 与 非 真 值 的 标志 以 及 在 


. 228。 





已 得 到 样本 时 求 找 精 确 区 分 的 办 法 .前 者 将 引出 广义 密度 距离 的 
f, 随 之 而 产生 Kullback-Leibler 信息 函数 , 第 二 个 问题 就 涉 
及 到 假设 检验 ,特别 是 Neyman-Pearson 基本 引 理 . 由 于 本 章 主 
要 涉及 随机 序列 的 收敛 问题 ， 也 有 必要 回顾 一 下 这 方面 的 某 些 结 
AR. 下面 就 这 三 个 方面 加 以 讨论 ， 然 后 介绍 浙 近 有 效 性 的 一 些 定 
X. | 


二 、 有 关 随 机 序列 的 收敛 定理 
定理 1.1 Xo, Xe … X iid, 随机 序列 . 则 


1 Sx, >0 a.s. EX, 


7L 4-1 

存在 , HX 0. 

这 是 有 名 的 A. H. Kolmogorov 定理 ， 一 般 的 概率 论 书 上 都 
有 证 明 . 这 里 证 明 从 略 . 

定理 1.2(Helly-Bray 定理 ) X p 维 分 布 函数 序列 {Pa} 
依 分 布 收敛 于 分 布 函 数 Pol), go) J& R^ 上 的 连续 函数 ， 且 关于 
UP.) 一 致 可 积 ， 即 对 任意 s>0, ÆR 中 存在 区 间 [o, 01, 
使 

| lg (a) |dP. (2) «e, ([a, b] R^— fo, 51) 


对 % 一 致 成 立 , 则 有 
| g(z)dP, (c) 一 f. g(z)dPe(z) (noo). (1.8) 


证 明 从 略 , TERU. 

注 1， 可 以 证 明 , g(%) 一 致 可 积 也 是 (1.8) 式 成 立 的 必要 条 
件 . 

定理 1.3 设 i(£). (e) EE p EDL, 并 且 有 上台 按 
分 布 收 化 于 名 84 一 > 0 — co) X. (n4 J&—B px p HEBEL 48 
阵 , E m 一 > am -> co)， 其 中 心 为 常数 矩阵 ， 则 当 m -> co Bf, 


他 29。 








Nan t En 按 分 布 收敛 于 a£. 
证 明 从 略 , 可 参见 [ 熙 ， 留 给 读者 作为 习题 . 


三 、 母 函数 与 Chezrnoff 定理 


设 半 是 任 一 随机 变量 ， 则 称 MOSE MOX BS 3 
&. 
By e*70, 所 以 M (2) RETE 4e Bg, 但 可 能 是 +o, 又 因为 


Ee” -f : ea P^ | : e*d P, 
利用 单调 收敛 定理 Al, M (十 co) 一 lim M (X) 存在 ， 故 我 们 可 视 


M (t) ye R— [—eo, oo] 上 定义 的 函数 . 
记 T=. (4€: M (2) «oo, tc R); 
a—inf(t:tc Tc (可 以 是 一 ce); 
b-—supit:t€ T? (可 以 是 十 oo). 
母 函数 有 如 下 性 质 . 
1) #a<b, MIER iE la, b), 有 
E|X*|e*—co, H M? (D) E(X"e3Y (k=1, 2, ---), 
证 对 任意 toC (a, b), FE >O, (i 1B 19-6 € (a, b), 于 
JE E(eg^79T-peet9»r) oo AHERE A b, 总 存在 充分 大 的 
M, 使 
从 而 


[ak eteta etto (9. Io M), 


E| X* ez<| | cz | kgtez d P--E (e(^7 X - et 0Xy «oo. 
l iel <M . 


于 是 再 利用 第 一 章 定理 2.2, 性 质 1 即 得 证 . 

2) 34 X AoBIGERI, MOHT EHF PT EAE, 有 唯一 极 
JME A t", WE 

当 EX<S0 H, #  t">0; 

当 瑟 和 >0 时 ,有  t"<0; 

当 P[X>0]=0 Rf, £*—-roo, 

MX P[X<0]=0 kf, "= — oo; 
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当 P(X >0)>0 H P(X <0 >0 pf, t AR. 

证 4 POX-O0)-—liBb, MO(D-—E(X'eÓ7)7-0, 这 证 明了 
MA 的 严 凸 性 ， 并 由 此 可 知 , MO AE — ARN A V. dm 
T={0}, RR —0, X E OC (a, b), 此 时 MC0) -EX, Joi 
MEX =0 Rf, £0—0, S; EX —0, M(t)1Et—0 AR FE, S70, 
同 理 ,车 EX —0, M (DE t—0 处 上 升 , £0, 3:200, 5-0, 3 
EX -0, M'(0U-) -EX «0, ix 1-0; 4 EX 20, Ej 34 60 
时 ， | 

jeaP- joa P- Exo, 
即 有 MAS, 所 以 如 =0, 同 理 可 分 析 5=0, a<0 时 的 情 
况 . | 


车 PLX-0]-0, X Xil X 0, 那么 M()- |. edP 


t RUPEE UR P REPRE i t= 十 cc。 同 理 , # PLX «0]—0, 有 


t= —oo. 


LE P(X20)250, P(X —0) —0, 35 t oo k, 
MG>| éd. P — o, 


而 当 # 一 一 co 时, 4 Mm cdP-co, 但 因 M(0) — 1, 
bct oy nit. | | 
—— 9) 假设 存在 8>0, 使 得 人 L(t) «co, 当 |t| «9, HEX —0, 
o —EX?-0. W4 > 0 W, E 

1infe*tM(£)- e 3599. (1.9) 


证 BD EX-0,o0?—-EX?—0, WEE e:>0, 使 P(X >e) 
0, P(X«c—2)20, id Z,—X-re, M.(t) = Eet =e" e*t, yj 
因 PIZ,-0]-0, P[Z.>0]>0. EZ,—5»0, T EH 2), 存在 
唯一 有 限 数 请 <0, 使 

inf M, Q) = M, Q.) e Ee? < M,(0) —1, 
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FEE: eloi, tÙ, 
事实 上 , Ë t00) 不成立, 则 存在 e (0, Hih 
«0, 注意 如 为 Ms 人 的 的 极 小 值 点 , 故 有 ML) =0, FER 
0— Him M, (t) = LU no e nten] 


<E [im sup (X+ En) qne 1 =E (Xe) 


= M' (to) <0, 

得 出 矛盾 注意 : LRH BARA D E EE A Fl ie OE 
合理 的 , 最 后 一 步 是 因为 M'(0)— EX —0, HA t=0 H nè 
一 极 小 值 点 ,而 如 <0， 故 M (to) 0, m 

再 注意 M'()-—EX*'—-c,M'(0-EX-0, TE 用 
Taylor 展开 式 , 有 | 

0— E(Z,e***] = ee" M (t) + e M' (t) 
— 8 (1-- et, +O Ce*t2)) +O] + (L+ ets 2- O Ce?t,)) 
CM" (052, --O (12)) — &- 6?4, --O (&?0,) 0O. 

从 而 可 知 , 当 e (0 时 , tt e 为 同 阶 无 穷 小 , B. 


te= —— 0. 


于 是 


M — M" (0) 1-O (I9) 





emi (1.10) 





由 此 便 推出 Met -e aa PEETA 
同样 可 证 infe RM t) =e p | | 

4) X, s, X, 为 个 互相 独立 的 随机 变量 ， W MG) = 
Ee. (i=1, =, n), WES, È mw 的 母 了 3x M O - 1E MG). X 


利用 Xi, c, X, 的 相互 独立 性 即 可 得 到 . 
定理 1.4(Chernoff) 设 X, Xa, … Jp iid, 随机 序列 ， 记 
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M (t) = Box:t, S,-3: X, m=inf M<), W 
i) 如 果 E(X.) >0, m 


P(S, <0) <m"; | (1.11) 
mÆ EQX:)«0, 则 | 
P(S,20) <m”. (1. " 


ii) o 870, 使 当 |t <ð HB, M<, WA 
证 i) RAXHERUS x0, Wu 


| P(S,«0)« |. o UP Eet (MO). 


w EXE i<0 范围 内 取 极 小 值 即 得 
P(S,«0)« (nf M (0). 


又 由 母 函 数 性 质 2)， 当 E X0 Bj, MOE £sc0 时 达到 极 小 值 ， 
W inf M(f) -inf MG =m, Wie LL) 式 得 证 ， 用 同样 方法 可 
ELDR. 

ii) 由 母 函数 的 性 质 1) 和 2) 可 知 , M'(O)-—EX;-0, ik 
M (0) Bh — DR] MEL UR 0*0, 从 而 inf M (f) — M (t*) « M (0) —1, 


定理 证 毕 . 
注 原 定 理 结论 还 有 : Gp m0, 则 对 任意 的 0<s<m, 有 
lim (m—8)*/P(S<0) —lim(m —&)"/P (8,20) —0, 因为 这 结果 
本 书 未 用 到 , 加 之 证 明 宛 长 , 故 略 去 . | 
. Kullbuck-Leibler 信息 函数 


定义 1.6 设 随机 向 量 X 的 样本 空间 为 (2 4L, P, 6 EO), 
其 中 参数 空间 @ 为 B^ 中 的 开 域 , Ps 关于 Z 上 的 o- 有 限 测度 
的 概率 密度 (2, 9) 对 所 有 的 0€ @ 有 共同 支撑 , 即 集合 {2:f(% 
N> EA. MERK p IEO, 令 
I(p, 6) - E,log(J (e, p)/f (s, 0)), (1.13) 
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P I(p, Ož X fj Kullbuck-Leibler 信息 函数， 简称 为 K-L tè 
f dk. 有 时 为 明确 起 见 ,也 记 为 I* (o, 0). 
K-L ARKKA THA: 
1” 对 任意 的 9.pE6, I(p, 0) VE EX, ES wiEit2X. 
2° Ilp, 9) 20, m B. | 
Ilp, 0)—0€»f (v, p) —-f(z, 0) a.s. pm, (1.14) 
838” 车 随机 向 量 X 5p Y 相互 独立 ,它们 关于 pi s. 的 概率 密 
度 fz(z, 9), fy (y, 0), 9€ O, 有 共同 的 支撑 , 则 有 
IS Ð(p, 0) -I*(p, 0)--I*(p, 8), op.0€8, (1.15) 
又 当 X, 6, Xn X Vid, 随机 变量 , 其 分 布 族 有 共同 支撑 , 则 
IZ adp, O —nlI? (o, 0). (1.16) 
证 1° AE) AE AA R (0) 的 正 部 和 负 部 . 


ie 众人 -pe 作 人 < 从 分 


m E, Lec n l= [re Wap- ik E, [10g res n «oo, 


He, 9- E e n Dor] 


— E, | log Axe p) F 


KAL EH u RARLR, 可 由 定义 直接 推出 . 
2” 因 为 -log y Æ y 的 严 凸 函数 , 利用 Jenson 不 等 式 (第 一 
章 定 理 3.7)、 有 


Ilp, 0) -E| -10g L5 | — log E, OE ^ KED) 


























= — log 1=0, 
而 且 上 式 等 号 成 立 公开 ,9) /10O) —1, a.s. P, €f (», 0)— 
f(z, p) a.s. P, 但 注意 到 P, 0E@ 有 共同 支撑 ， 而 风 为 在 此 
支撑 空间 上 定义 的 c- 有限 测 度 ， 故 有 PP. 对 任意 的 
ApE6， 于 是 (1.14) RINE. 性质 2° ABIT Io, 0) 用 来 作为 
区 分 真 假 参数 值 p.9 的 标志 是 合理 的 ， 
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3° HB X HY 的 独立 性 质 , CX, 也) 的 概率 密度 为 
f&? (s, 风月 Fe fs (y, O). 
于 是 
TP fX, 9f, 9) 
IEY, 6) ~ E,log [o tp t| 


cce [FT 


Hee rry 


— I9? (p, 8) +IP (o, 0), 
于 是 代 .15) 式 得 证 ， (1.16) 4E (1.15) 的 自然 结果 . 

下 面 我 们 来 估计 一 下 , 当 9 -一 9 时, I(p, 0) 的 近似 值 ， 根 据 
K-L fei E. BUE 98 2^, 我 们 不 妨 设 (vw:f (o, 060 f (2, 9) 79 
34 8 关 0、 先 给 出 下 面 的 引 理 . 

引 理 1.1 设 对 任意 的 pE@, 存在 9 RBR, CO, 使 得当 
0cV, B, 


f(v, 9) _ E 
du [9995 9)|o—6]. (1.17). 


DVRI(. 9) 2 Z(s, p) fefe, ARI SHE o eT o ek, H 
BLZ(X, 9)Z (X, 9)1 1(p)70. 
Zæ, 6)|«B(s, o) Qu6CV,W), (1.18) 
其 中 BA(X, p) «co, E,B(X, p)«o, 
E,AC(X, p) P'(CX, 9) «oo, 
9 ð D 2 | 
这 里 eaa) 表示 微分 算 子 。 则 有 
i E,Z(X, p)=0; (1.19) 
ii) E,Z(X, 0) — I(9) (0 —9) +o); (1.20) 
dH) ZT(p) 是 9 的 连续 函数 
iv) IO, 9) = p-o Ipp- G); (1.21) 





—— — —— a 














v) B, [og Fo) = (6/1097 0) (90). 
(1.21)' 
此 处 CDEN 0 > o Rr. 


证 i) idZ(e, 从 一 (ao p), =, Ze, 9), 
ô= (0, ce, Ls 9,5, 0) ， 利用 假设 (1.17) 式 
i 了 个 
可 知 ,用 控制 收敛 定理 ,有 
Of (v, 
EX, p)= B, [EE / (s, p) 
-Í im -Fa tado fn 9) gy 


Apr>0 Api 


4p,50 


~ lim X] (f(2, p+ opi) — (s, 9))du 


(i=1, =, P), Jf E,Z(X, 9) 0, 
ii) Big (1.17) 5 (1.18) 35, 4 O CV, 时 ,有 
f, 0)«f(s, p)1-A(s g)]p-0]. (1.22) 
IZ (x, 6)Z' (æ, 6)1 f (v, 0) | 
«B's, g)(1--A(s, o)lp-0Df(s, p). (1.28) 
而 且 E,BX, p)«oo, E,B(X, p)ACX, g)«co, 再 利用 控制 
收敛 定理 ,极限 号 与 积分 号 可 交换 ,内 而 有 lim I(9) - I(9). F 


ifi. 
i) E.G, 01- ZG, Dfe, pdu 
- Ze, D GG, €) -fG, 0))ap 


^ [zi 0)dp | tz (o, oret pT 


x (e- 6f (æ, g--t(8—9)dt, (1.24) 
再 利用 (1.22) 及 (1.18), 就 有 
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IZ (s, 6) (Zæ, g--t(p—6)))'| fle, 9--t(p—0)) 
«&B*(z, 9) (-- A(z, 9)1p—0])f(v, p). (1.28) 
An uESI I(9) 连 续 时 一 样 , 用 控制 收敛 定理 可 推 得 (二.24) 最 后 一 
个 等 式 的 右 端 为 T(p) (9 —0) (L--0(1)), SX 1) EIE, 
至 于 iv) 的 证 明 与 二 ) 基 本 相同 ; 


I(8,9)- CS f(s, 0) P Nfa, 8)dy. 
=f, af (Ze, 9--(8—9))) Op) 


=| t| (Zie, o (9-0) O-PS E, Odu 





-f (I(9)(1—12)(p—0)(14-0(1)))' dt (8 —g) 


- 0 -9'I() (8 —9) (1--o(1)), 


其 中 用 到 
(Ze, 9--4(0—9) (s, Odu 


- —I(9).—1)(p—8) (L--o(1)), 
它 的 证 明 与 这) 的 证 明 相 同 ， 至 于 v) 的 证 明 与 iv) 相 同 , 而 且 更 简 
单 , MCA RAS. 

注 ”此 引 理 Z(%, o) 的 存在 与 连续 的 条 件 可 减弱 为 ; 对 每 个 
9 CO, 对 几乎 所 有 的 “在 9 的 某 个 邻 域内 存在 且 连 续 ， 引 理 结 论 
仍然 成 立 . 

为 了 区 分 不 同 参 数 , 我 们 还 可 以 用 密度 函数 的 距离 作 标志 .也 
d(6, 2)- [1f 0) —f(v, o) dp. (1.26) 
它 的 好 处 是 ， PERKS, 0),0€ 0 有 共同 的 支撑 ， 因 此 适应 
范围 更 广 . 但 是 它 没有 3" 那样 好 的 性 质 , 从 而 不 便于 使 用 ， 下 面 
给 出 一 个 引 理 , 进一步 说 明 d(O, o) XL. e^ 

引 理 1.2 

d(8, 9) -2sup | (A) — PACA) |， (1.27) 


。 237 * 





此 处 Z, X X RZN Z EK Borelo- 域 
证 
2|P,(4) - P,(4)| E 
= | P,(4) - P,C) |+ P4 (4) -P(A 
«|. fo, 0) —fCo, 9) du 


|, MfG, 0) -fG, p) da 4, p). 
另 一 方面 , 令 Ao (otf Gs, >fe, 9)). 
KO, g) - | (Fle, 8) Gn, p))dp 


e [UG 四 -Fo 9)du 

=2 | P,(A9) — P, CAo) | 

«sup | P(A) - PCA)]. 
故 引 理 得 证 ， 

E. Neyman-Pearson 基本 引 理 
设 互 是 一 个 多 维 随 机 变量 , 考虑 如 下 假设 检验 : WES He 

X~ P. 对 立 假 设 Hi: X ~P, Po, Pi AATF o- RWE ui CRT 
取 Po 十 己 ) 的 密度 ， 记 为 foa), Jax), a 是 任意 给 定 的 显著 性 水 


平 (0<a<1), 则 
G) 必 有 一 检验 函数 (o) VEM v 拒绝 Hom x) 和 常数 


k, WE: 


| [i fAG)kfe(2s 
(9 «o; * f(E) «fo (2), dem 
(2) Be(p( X)) —a. (1.29) 


Gi) 满足 外 的 检验 g(2z) 一 定 是 显著 水 平 为 a 的 最 大 功效 检 
验 , 即 对 任意 的 检验 po, 车 满足 Eop(X)sxo, 必 有 EE, 
Ei 称 为 9 的 功效 . 

(iD) WE o 是 显 落 性 水 平 n 上 的 最 大 功效 检验 , 则 a 必定 对 
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Aie BK E d AEQ) rS. (D). 02 R, 除非 存在 一 个 检验 go, 满足 
Lipo= 1, Bopo oa. 


证 明 从 咯 , 参见 [3]. 
$2 相合 估计 


一 、 一 般 必 要 条 件 
上 节 我 们 已 经 给 出 了 相合 信 计 的 定义 .本 节 我 们 将 给 出 参数 
0 存在 相合 估计 的 必要 和 条件， 同时 将 讨论 线性 模型 中 的 最 小 二 乘 
估计 和 一 般 概 率 密度 函数 估计 的 相合 性 问题 . 8 工 中 所 给 出 的 概 
ABA, Ben Pao, OEO), d Paro Ea) = Pn ns 0)dyu,, X 
些 记号 及 相应 的 假设 条 件 在 下 面 仍然 要 运用 . 
定理 2.1 0 存在 相合 估计 的 必要 条 件 是 : 对 任意 0: 
9,(€6), 有 1lim d,(f., 05) 一 2， 此 处 
d, (Bs, O) = | Lp. Gem, 04) — pa (s, 62) Idus. 
证 mE 0, 0 的 相合 估计 , 记 s=10: 一 go|/2， 令 
Au (t.t | Ân m.) — £i] <e}; 
B,= (2:18 (4) — bal <E}. 
显然 4, 与 Ba 互 不 相交 ， 因 为 ,是 9 的 相合 估计 , 故 
lim Prso, (An) -1 lim Po (As) = (2.2) 
从 而 根据 上 节 引 理 1.2, 
d, (01, ba) =2 STP | Pae (A) — Pno CA) | 
>2(Pi,0 (An) — Pme A >22 (mo), 
但 由 daO bs) 的 定义 知 , 总 有 22d, 0, 0a). WIS 
lim d, (6, 05) zs 2 (2 .8) 
定理 2.2 ME plen 人 ,9EG 有 共同 支撑 . 则 9 具有 机 
合 估计 的 必要 条 件 是 K- 工 信息 函数 对 所 有 的 01 大 0s(E6) 有 
Ins, 83) —> co (n 一 co). 


(2.1) 


«e39 ， 








证 ^ Yap», 05) / p, (X, 04), 显然 ES(Y,)-—1, i 
Y;-—max(Y,—1,0); Y,-max(1—FY,, 0), 
过 为 】 了 一 工 一 了 :一 上 上 >， Do, (Ys,)=1, 故 有 BoY i = EoYs;, 


01, 05) = | aps (nu, 69) 一 pn(a 02 (dps 


- [IY 1p. (s, 0)dg, — Es (Y -Y 7), 
I,(01, 03) = — Es, lg Y, 
ma -| log yn d Paa SNNT yn d Pao 
= —(.log(14-Y;7)-4-E,log(1—Y;)) 
> —log E4(l--Yz)- log E4(1-—Y;), (2.4) 
其 中 , 最 后 一 步 利 用 了 Jenson 不 等 式 . 又 由 于 
BoY i= Boys -— 1-d.(f,, 6). 
将 上 式 代 入 (2.4) 式 ， 并 注意 lim d4(01, 04) 一 2 (由 定理 2.1)， 令 


noo, 
lim inf I, (fi, 0:) > — Him log (1+ d,(, 05) ) 
— lim log (1-3 a 8,))- —log2--oo-ce, (2.5) 
至 此 定理 证 毕 . | 


二 、 线 性 模型 中 LS 估计 的 相合 性 


”下面 研究 线性 模型 中 回归 系数 估计 的 相合 性 问题 ， 考 虑 下 面 
线性 回归 模型 

w-zB-a (G-1 2, =), (3.6). 
此 处 , 8 是 回归 系数 ， 为 p RRAK, a, i=1, 2, …} 为 已 知 
的 p 维 向 量 序列 ,假定 存在 mo, 使 Yen >EE), 6, so … 为 
iid, 随机 误差 序列 , 满足 条 件 

E8,—0, Esj—o?«co, 
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而 yi, Vs, ce 为 可 观察 的 随机 变量 序列 .在 这 些 假定 之 下 ， 我 们 
有 如 下 关于 回归 系数 最 小 二 乘 估 计 的 相合 性 的 定理 : 
定理 2.3 i) Sibi AS; X.Z.(nzno) 为 相 
合 估计 的 充 要 条 件 是 S; — 0(n— oo), 这 里 
X= (t, e, m), Za= (Yi 9s) 


S,— XX, -> T4, 。 





i) i=l ZLU,- X 5731), (n>n) 是 0 的 相合 
B. | 
WE i) 充分 性 ， 由 第 二 章 $ 6(6.18) 式 知 


Var B= So. (2.7) 
由 假设 条 件 S77 — 0(n-— eo), Am 
E( |n- BID =tr8;10? — 0 (n — co). 


i B, 均 方 收敛 于 B, 从 而 B,— B (mn->co)， 充 分 性 得 证 . 
D 必要 性 ， 我 们 先 考 虑 @ 的 第 一 个 分 量 的 LS tii. S 
T= (me, ^, Tip) (—1, 2, e); 


于 是 有 
xj en! S mxXUX e > wh K, 
T^, "y Ta x H, 
其 中 K.= 2 vul, H, => T. 由 求 逆 公式 ， 
S= 


[n 一 Ld -1 
| (So EHNAE)  -(Xe&-kHsEi) KG 
1 1 a 





-(3xà- K,HSKDO Ha3K, š 

| (2.8) 

因 a= S XLZ,- S; X.CX,B--e(4)) = B-- S, Xia(n), 此 处 
e(n) 一 (&, …, ex) ， 由 假设 条 件 B, — B, WA 

S. XLis(n) NL 0 (n— co). (2.9) 
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注意 
'"Xls(n)- js ; (2.10) 
之 T'is; 
H (2.8). (2.10) Ef S Ye(n) 的 第 一 个 分 量 是 
(Zeh -KH K.) 3a-KQHSTQs (2.11) 


igW,- 3124 — KHK, 不 难 推 得 
(za — KHT)? -$ 24 —2 taK HT, 
TE; > TI HK! | 
-> va —,H,.K,—W,, | (2.12) 


t a: H.— =È TT, K Em, TqJÉH ENCORE, X 
EA p ?EI EE a, WE 
4 Seat odes H2SKD, (2.18) 
BUS ` ntl 
Wai 2 (23 — K aki H 31114)? 
> cn TAa HAE): 
£EXe-EQHSTOTW. (2.14) 
从 而 lim W, 存在 . 如 果 极 限 值 有 限 ， da Ws, H W< Wo, 


(mg — KHAT «We, (uses dd …). 故 存在 自然 序列 的 子 列 
{nn}， 使 

lim(za — K,, HT.) =d ($21, 2, ---). 
显然 有 lim X (vi—K, H,T)*— -24, 
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Wo = lim W,, zlim > (£n = Kk, HD Yd 
2 一 oo poo 《一 í21 
再 令 ! oo, WA | 
Woz 2d. (2.15) 
M (2.18) nf A. 
i i 
>à (wi — K,, H, T) -2 (Zi 一 K,HUTO?-W, (2.10) 
i 
lim Z; (24 — K,,H 1T)? = > de>W. (2.17) 
po {izl (1 l 
令 1 一 oo, f 23d We, BE (2.15), 得 


Wo-*d. (2.18) 


ial 
-w U,- 2o En -KH T), 下 面 证 明 

lim E(U,, -5 de:)=0, 

Vo i=1 
Ry, 会 E | Un, = 5 cs ji 

i1 
ny 2 
=E |$ (za EAH T,-d)s | 


-E| 5 da]. 


i—nyt1 


= Ko HT d+ $ d 


zfügdl 


D (sa —K „nH JT, —d? 


十 2 D (a—-KEK,H,T.)? 


i—it1 
«2 $ de $ a] 
i-bt1 一 ?355 十 工 


i 
«.g? [Son — K „HT, d) 2 十 2 (Wa, -W 


"22 dit el d|, (2 .19) 
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在 (2.19) 式 的 两 端 令 v — oo, 然后 再 令 j-> oo, 得 

0<lim sup R, «lim 26" [W,- Wi $ dj]-0, (2.20) 
故 lim ,一 0， 另 一 方面 ; 因为 

a(> dis: ) =$ d =Wo>0, 
BEBLP[33de.—0 ]<1， 但 从 lim R, =0, H 
WzU,, e Wl > de, (p 00) 
又 因应 一 > B(n— co), 由 (2.9) 和 (2.11) 式 推 得 
Wn E (2.21) 

这 与 了 总 ds 一 0]<1 相 矛 盾 ， 由 此 可 知 ,Wo 不 为 有 限 数 , 即 有 
lim WW ,=oo 或 lim W;'—0, ixfuüESD T S 的 第 一 行 第 一 列 元 


K> MEME S; 的 其 它 主 对 角 线 上 的 元 素 下 0。 又 因 S! 
IEX (n>n), 从 而 证 得 lim 871—0, 让) 的 必要 性 得 证 . 

Ei), Ha>, 
L OGB--e (0) (1 — X487: X1) QUB--e(n)) 


A2 __ 
OQ, 一 





m—P 


1 
n—P 





(&(m))' (Ts ~ X487: X!) e(n). 


1 
wp E (e (n)) X aS, "Xie (n) 


c= 





1 Y— f , 
— p Etr X S," X, (6(n)) (&(n)) 
2 xi P 
Sup Ue Xu sets. denos) 
(2.22) 
从 而 由 上 式 知 
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ze) XS. Xie(m)-—0 (noe), (2.23) 
mea | o 

1 (o(ny))(s(m)-»e*a.s. (aoo), 
ULT E 


P (8(n))' (Ts — X 81 X!) e(n)— oc? (2.25 





定理 证 毕 . 
注意 ， 除 去 假设 条 件 “ 存 在 1 no, fii 8,77 0" 外 ,结果 人 2 一 > o3 
Mis nA HEAR. MEA LA Sr 来 代替 SL, 则 结论 


Ô; m o? 仍然 成 立 ， 此 时 就 与 完全 无 关 了 . 

关于 线性 模型 中 ee LS 估计 的 相合 性 、 强 相合 性 与 
极限 分 布 问题 , 近 十 多 年 来 为 许多 作者 所 研究 , 如 F. Eioker'? H 
Drygas". B&35 3&7. Anderson And Taylor "1 T. L. Lai, H. 
Robbins And O. Z. Wei 吕 以 及 陈 桂 景 、 黎 子 良和 魏 庆 荣 中 等 ， 当 
(ed JOME- RER RETIN, [91 给 出 了 应 B (a. s.) 的 
最 弱 的 充分 条 件 S71 一 0, 并 给 出 了 Ê, 收敛 的 速度 . [9] 在 [6]. 
[81 等 的 基础 上 得 出 了 更 一 般 性 的 结果 , 指出 在 Gauss-Markov 模 
型 下 (第 二 章 的 6.2), B, 一 Bla. s) 的 (本质 上 ) 较 好 的 充分 条 件 
J& S, O(log ?n(loglogn) 0*9), >>0, 该 文 对 8 的 二 阶 矩 非 有 
限时 也 得 出 若干 结果 . 关于 o’ 信 计 的 强 相 合 性 的 充 要 条 件 ， 陈 希 
fi  RUDU BC 16 HIA 


lim + A) s? d P,=0, (2.25) 
no M k=1Jizli>v i 
lim-l. 3 3! &* d P,=0, (2.98) 
n» "nh k læl <yn 
对 任意 的 e>0, | | 
2 P(|U;|25)«oo, (2.2) 
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AP U=- S (e-o), U; X Ur 的 对 称 化 ， 


三 、 密 度 函 数 估 计 的 相合 性 


由 于 客观 实际 错综复杂 , 使 在 统计 判决 问题 中 假定 总 体 服 从 
某 分 布 族 "有 时 并 不 符合 实际 .因此 ,有 时 需要 利用 观察 数据 来 直 
接 估计 密度 函数 , 以 便 得 到 总 体 的 某 些 特征 值 的 较 好 的 佰 计 ， 无 
论 从 现代 科学 技术 的 应 用 需要 上 ,还 是 从 数理 统计 理论 研究 (如 现 


代 发 展 很 快 的 自 适 应 估计 "”， 本 书 讨论 的 经 验 Bayes 估计 等 ) 


上 , 都 需要 密度 函数 的 估计 .因此 , 近年 来 密度 函数 的 估计 受到 很 
大 的 重视 .特别 是 六 十 年 代 初 期 Parzen 提出 核 函 数 估计 以 来 , 密 
度 函 数 的 估计 得 到 更 大 的 发 展 , 在 这 里 , 我 们 仅 对 Parzen 的 工 
H 作 些 扼要 介绍 。 | | 

WX: Xs 为 44d, 随机 变量 序列 ， HAREA 3 f (a) 


(关于 工 测度 ), 但 不 知 其 形式 ， 很 时 以 前 ,人 们 就 有 用 经 验 分 布 


FOE, e, Xe tui n AO. 


来 估计 理论 分 布 FQo-[^ SOLA. 这样， 容易 想到 利用 经 
验 分 布 来 估计 密度 函数 , 采用 如 下 形式 
f.) = [Fi (o-- hb) — F;(s—h)]/2h 
1 rh a eo 1 =y m 
Oa | a a GO 








其 中 下 
(2.29) 


KK(,) 称 为 舍 计 的 核 。(2.29) 是 一 种 特殊 的 核 函数 .Parzen 就 是 


从 (2.28) RE REKAH (2.29) 式 的 形式 加 以 推广 了 ， 除 
《2.29) 形 式 的 核 以 外 ,现在 常见 的 核 函数 有 如 下 几 种 : 
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h « 
S = x( mi ) | |. (2.88) 





-四 -- +e 





i. aerias uias 


t EX Km) ali) =f" ev K (y)dy E g t)dt 

















. taxa 
I 3 |z|<1; &n'gy 2 
0, 其 它 。 i 3 
2 
l eT 5 1 
~ ZU e T o mq 
2 14-02 2 
L al gl 1 
circ m 
1. 
了 | 3 [1- I8 len 
2| c 0 RÈ. E] 
2 


JY SUELE CREE RR fps BENE SORORE AA h 满足 
如 下 条 件 : 


(D Kao H 信和 ao=i 
sup K (s) «co, |^. K*(z)dz«oo; (2.80) 
lim K (2)$—0. 
(2) lim h (n) —0, lim nh (n) = oco. 
定理 2.4 EX, X. … Wy 4d. 随机 序列 ， 其 分 布 具有 有 
界 的 密度 函数 jc)， 则 利用 满足 条 件 CO RI (2) BE PC E (y). 给 
出 的 密度 估计 


NE |) 
R o | LK oy Q) (2.81) 


ESO OE 764 SHEER t. 
证 
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Ef. - AY BK (I 

iy). Ga) O 

-7 三 (xd) (ar (v—t—y) 

-| EKO C-ra (qh). (2.82) 
对 于 任 给 的 8>0, 由 (了 ) 可 知 ,存在 充分 大 的 Fo, 使 

| uu E (Wada<e/4M, 
此 处 下 ~snpj(o)， 同 时 利用 实 变 函数 中 的 鲁 金 定理 ,可 证 
lim| KOS) a| koe. 


从 而 
Efa) —f (o) | 


<|| K (2) f (s —h(n)z) dz 一 | K (2) f (e)dz | 


taf s. de 
« I. X Gy Gc oayde -Jf KO | 


8 8 
二 co). (2.83) 


由 于 8 的 任意 性 , 故 lim Efa) =f). RENT fa) 为 
了 (w) 的 源 近 无 偏 信 计 . 
另 一 方面 , 利用 Xs, e, Xn HILE, A 


Var 如 -二 万 二 [BE (£52) - (ek (55:2) ], 
(2.84) 


用 证 明 为 浙 近 无 偏 的 同样 办 法 , 可 证 
TES . : 
lim Loy J| ko (275 a =] =o K? (æ)dæ, (2.85) 
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由 (2.33) ~ (2.35), 并 注意 条 件 (D 和 (2)， 得 
lim E (f, —f (2))*— lim Var ft lim(Bfs—f (2))’~0. 
(2.30) 


这 说 明 对 一 切 %, 色 均 方 收敛 于 f(w). 因 此, fa f (0) (99). 
AES. 

定理 2.5 假定 定理 2.4 的 条 件 成 立 ， 并 进一步 假设 习 
lim nh? (n) eco, ii) 核 的 Fourier 变换 g()) 绝对 可 积 ; ii) f (e) 


一 致 连续 则 对 任 一 s0,H 
lim P( sup |f Œœ) —f (2) | 7-5) —0, (2.87) 
证 记 eO0-[ earl 一 二 高 oe 


利用 Fourier 变换 关于 卷 积 定理 知 , fa(w) 的 Fourier 变换 是 
Pa (1) g (Uh (n), 再 利用 Fourier 变换 的 反 演 定理 ， 


包办 一元 -| DIA (2.38) 
E[ sup |f) — Efl) 


< 去 全 K (ht) E| p, (£) — Eo, (t) |di 





2 
-— K (ht) (E los (1) — Eg, () |*) dt 
zx. K (ht) [E gtz — Egit?) (eX -Bo | at 
EN | K(h)di-»0 (a>), (2.89) 
2cxn? "^? 


B (2.83) t, 当 f (D 为 一 致 连续 时 , 有 
sup Efa SfE (n-o), (2.40) 


AH (2.39) 5j (2.40) f$ 
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EI sp |fG)-fG)I«EL sup. | 为 (人 一 三 oo 
+ sup |Ef.G)—f(9)|—0 (n eo) 
从 而 可 推 得 (2.37)， 定 理 证 毕 . 


MEO ”如 果 f(w) 有 唯一 的 极 大 值 点 zo, 我 们 取 f. (0) 的 最 大 值 
点 zo (n), 则 


|. (o (n)) — f (20) | = [sup f. (s) — sup f (&) | 
«sup |f æ) -f()|—5 0. (n-» e), 


故 对 任意 的 s>0, 有 lim P[|Zo(n) 一 zol 二 se] -1, 这 就 给 出 了 


fw) 的 极 大 值 点 的 相合 估计 . 
关于 密度 函数 的 估计 ， 特 别 是 收敛 速度 的 研究 ， 已 有 很 多 成 
R, 有 兴趣 的 读者 可 参考 [1 入. 


$3 估计 的 渐 近 有 效 性 与 最 好 渐 近 正 态 估 计 


Fisher 在 1925 年 就 猜想 渐 近 分 布 为 正 态 的 相合 估计 的 渐 
310; 287, O-R 下界. 达到 C- 召 下界 的 渐 近 正 态 估 计 ， 称 为 
最 好 的 渐 近 正 态 估 计 ， 记 为 B. A. N iii, RERA H tA R 
估计 .后 来 出 现 了 一 些 超 有 效 估计 的 例子 ， 这 种 估计 是 渐 近 正 态 
的 ,但 渐 近 方差 不 仅 达到 O-R FR, 而 且 在 有 一 些 点 上 比 O-R 下 
界 还 小 . 


一 、 例 子 与 定义 
例 3.1 E X, s, X, o id, 随机 序列 ， 服 从 正 态 分 
# N(,1)(-e«0«-), 我们 已 经 知道 X= 5$ ew 0 


完全 充分 统计 量 . 一 直 认 为 是 0 的 优良 估计 .现在 考虑 另 一 估计 
i | 
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mim i log n 
LX. X, 一 一 一 
n- # IX < 一 二 


X n, 其 它 . 
当 %> 工 时 , 它 是 2 E ES.—0--5,00), 5040, Jr 


(Cg -6)3 (Casa ao) 
b.(0) 一 Pm ze : — 6 2 
zio (V CEP -0)-o (- s (992-0) 
下 面 证 明 
P(VR(T,—0) 2) | 











(2s), 40-0, 

(sz), M 03:0. 

以 后 为 方便 起 见 , 用 (X) 表示 X 的 分 布 函 数 . 若 并 ,的 分 布 
孙 数 以 分 布 函数 卫 (w) 为 极限 分 布 , WEA LX Fa). 用 此 
记号 ,上 式 可 表示 为 


S (An (T, —8)) -| 
* 6-0 时 ， 
PAVE Tcu) o P Xen, | VR Tl «log n) 


+Po(Vn X,«z, | Vn X,| »1ogn)—^$(2z) | (n— oo), 
这 里 主要 用 到 P(|Vw X,|71ogn)-30 一 co). 


1 
当 0x0 时 , HFH no» co B, UE 一 0, 有 


o (2%), u 0 = 0; 
(s), 35050, 





PA |X, [E ap, ( Hx. -6|«318l)o1 (n— co), 





ik lim P(1X|- 2-1 qq 
P, n (T,-6) <2) =P, (An (3 X.) |X, «ER 
PS Qt, - 0) «a, X, 27) -> a (o) (n — oo). 


这 就 说 明了 , 23 0—08, 渐 近 方差 比 C-R PARE LE, 5040 
Bj, 刚好 达到 O-R FE. 





这 个 例子 说 明了 , 只 是 限制 在 mw 阶 相合 估计 类 中 比较 , 还 有 
缺陷 , 有 必要 对 估计 类 进一步 加 以 限制 . | 

在 本 节 中 ， 记 号 {Ln 4X, 23, Pa {Pao 0€6), 581 
相同 ，6, 为 依赖 于 nE 2 的 98 的 估计 量 ，{O。} 是 一 列 非 奇异 的 
2 阶 方 阵 , 与 9 无关, H 071 一 0 (n — co), O, 的 各 特征 根 为 正 
的 . 

定义 3.1 0,101490. 阶 相合 估计 , Foy) 是 p 维 非 退 
化 的 分 布 函数 , 9€ 8B， 如 果 对 一 切 的 9E@ 有 | 

lim P, o(C. (6, — 0) «yr —JFsy), (3.1) 


则 称 Fo (y) A Ân 的 OT 阶 渐 近 分 布 ,或 简称 渐 近 分 布 . | 
定义 8.2 HÂ, O 阶 相合 估计 ， mA — HoE, aE 
有 ER H I| —1, 有 
lim Puooze ('O,0,-6—02)«0)- 5. (3.2) 


Wf Ân 35 0 Bye ut p 42 4h dit. 
从 此 定义 出 发 ， 不 难 验证 上 面 所 举 的 超 有 效 的 正 态 分 布 均值 
估计 的 例子 就 不 是 渐 近 中 位 无 偏 的 ,具体 验算 , 留 给 读者 . 
根据 假设 检验 的 Neyman-Pearson 基本 引 理 ， 车 对 零 假设 
Ho: Pno. XS A BE P0, 405a 进行 检验 ， 给 定 显著 水 平 a, WIF 
在 基本 唯一 的 最 大 功效 检验 如 ， 根 据 对 偶 原则 ， 在 给 定 接受 对 立 
假设 的 概率 时 , 存在 基本 唯一 的 检验 ,使 拒绝 零 假设 的 概率 达到 最 
小 ， 因 此 , 可 以 构造 如 下 的 检验 du, 使 它 满足 
Banton {bX)} > oo), (3.8) 
且 使 得 Eo (s CX ,)) 达到 最 小 . 
现在 取 任意 非 零 向 量 a C RP URLA 00, 定义 函数 
Bo, (f, a) sup lim inf E, s {$n (Xn)}, (8.4) 
其 中 pn Kn) 是 对 零 假 设 Ho:0=0o， 对立 假设 K:0—0$--10;b 的 
满足 (3.3) 式 的 最 优 检验 , b 为 满足 42 一 1 的 p 维 向 量 . 
现 考 虑 9 的 任 一 Or 阶 渐 近 中 位 无 偏 的 相合 估计 naa). E 


ea 252 * 





NJEH 0 — Uo BAT DX IR Rasas (19/0, (0, — 09) t) Q3 t0 时)， 
Ram (2.:8/0,(0,—05) 之 从 (234 £270), iC £570 时 ， 
D0,+to {Rn at) 一 P sonia, (8, — 0, — 10715) <0} 
= o, (t); 
Pio rio {Rn,a,t} = Pao itozs19 Cs (8, — 8 — 10,15) >0} 
=) (Á t>0). | 


根据 渐 近 中 位 无 偏 的 性 质 , 有 lima) 3. 记 
Gf (t, a) 一 1Hm inf Pno, (Basos). 


Hi (3.4) rf balt, 0) 的 定义 ,显然 有 
GÓ: (t, a) 2» Bs, (t, a), (3.5) 
定义 8.3 如 果 0 的 一 个 Cz 阶 渐 近 中 位 无 偏 相合 估计 勾当 
n. — co 时 满足 条 件 GEG, a) — Ba, a), MER Âa HRA A A ih 
计 ( 由 [16] 所 给 出 的 定义 ). 


二 、 最 好 渐 近 正 态 估 计 (B. A. N. E) 


一 个 0 的 (Vn)-! 阶 相合 估计 纺 , AE Zl n (0, 一人) 以 
N(0, A(0)) 为 极限 分 布 ， 其 中 AO = 了 -1(9), 则 称 Ó, 为 最 好 浙 
近 正 态 估计 .I(9) 为 Fisher 信息 矩阵 ， 并 假设 gC) 是 9 的 连续 
"pf Bg b ETSI EB (Ep). ga (02) J& g (0) BI n) BHIB- Gs 
Wo VC n (Gag OAN O, BO) 为 其 极限 分 布 ， 其 中 
BO) = (L) 1 (6) (ÊL), 则 称 负 为 9(@) 的 最 好 渐 近 正 态 人 人 
计 . 

下 面 我 们 采用 人 竹内 启 99 的 思想 来 证 明 0 B B. A. N. 卫 在 一 
定 条 件 下 是 渐 近 有 效 估计 . 

定理 3.1 db Xi, X. © X iid, 随机 序列 , Xi 具有 分 布 
P, 9EB、 对 每 一 个 9EB，P。 具有 关于 c- 有 限 测 度 风 的 概率 密 
REH fæ, 9) =dPo(w) /dw. f (v, 9) 满足 下 列 条 件 : 

i) {flw, 9), 660) 具有 共同 支撑 ， 不 妨 设 对 一 切 的 vE2 
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fe, 0)>0, 9 014 0,(CO)B, n (f (m, 01) &f (m, 063) 0. 

d) f(s, 0) 在 对 每 一 个 % 固定 时 ， 关 于 和 有 一 阶 连 续 偏 微 
4. 

ii 对 每 个 goEB, 存在 bo 的 邻 域 Ts,CB， 使 得 


fæ, E N 
f (o, o) i|«4G, 9-8 CH OCT, 时) 


IZ, 1^ | 1ogf lo, 6) | «BG, 6). Q6 eV, M). 


此 处 A BW ERE Eo AlE, 09) oo, Be B? (w, 09) «co, EA, 
, 6) B (e, 09) «co, | | 
那么 , 8 的 具有 渐 近 中 位 元 偏 性 的 B. A. N. E Ryo o s 
计 . 
证 根据 Vn! 阶 渐 近 有 效 估计 的 定义 ， 重 要 的 是 找 出 
Be, (5, à) 的 表达 式 以 及 Bo, (5, a) Ej I(00) 的 联系 . 考虑 建立 Ho: 
0—0, K:0—09 t (V n) -22 的 最 优 检验 ， 令 


-1 
W,= Sog BAL Des ES 2 (8.6) 


那么 由 Neyman-Pearson 基本 引 理 知 , RRRS HIEKE JE 5X 
为 W,.-O, 首先 的 问题 是 能 否 找 到 On, 使 得 对 任意 的 iER! 与 
bER, H 


Py (n )715 (W,»0,) 1 (n — co). (3.7) 


根据 引 理 1.1, I (Gotin 25) - (09) -o(0, 


1 
(x, 0s-- tn 3b 1 : 1 
Es, oce] log Le | PIS) beo (7) 


1 
0y--in 2b) ]3 1 
Bomala erg IO), 


WEP ORREN ruego < 概率 论 教程 > 第 九 章 ; 并 注意 假 
B ii 





O 此 条 件 可 减弱 为 : 对 3. s. Po, 068 B] x per. 
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W, uA £5 I (0o) b i o 
Parun —— >] (9). (3.8) 
[t| (I (8o) b)? ^ 


BOR On = 7. PO'I (ODDA Bro. 
另 一 方面 , 由 引 理工. 工 知 ， 
Es, [log FE ERT] o PU 09) (2), 


f (v, 8o) 
(3.9) 
, UO "m : LL 49H le 
E, fog LE fotr TO) AS d) | -l, D'I (0o) b+0( =) (8.10) 
由 中 心 极 限定 理 得 


Pad wW, > t2b' (0o) b} 


E 
p" | W, +5 0'T(00)b 
|t| (b/I(89)5)8 
-> d(—|t EIG) Qun- com). (3.11) 


在 % 一 的 限制 下 ， 使 5 1(0,)0 达到 最 小 的 2 29 I7? (09))a/a 17 
(09)a. dX 


> oreoa 引 


Bs (t, a) =B(— |t|/ (417 (6,)2)9), (8.12) 
由 假设 , 0, 具有 渐 近 中 位 无 偏 性 ,并 且 
Sa (Nn (0,—69))— N(0, I-(09)) (34 co 时 ). 
故 有 


lim P, (Rasa) = 9 (- [t|/ (417 0)2) 5) - G5, 9). 


(3.18) 
此 处 
Rs em Us 8): ad v (0,0210) GH 10) 
UU Mn, ny m): a^ Nn (Ôa) <t) Q8 150), 
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Mc Balt, 办 一 68( 办 对 所 有 的 goEB, t€ R, cx0(E RP) jar. 
这 就 证 明了 Ôn 是 9 的 渐 近 有 效 估计 . 

系 3.1 在 定理 8.1 条件 下 ， 对 9 的 任意 的 渐 近 中 位 无 偏 估 
WA, ALn GaN O, AO), WU A( 217 (5) 对 
一 切 gEB 成 立 . 

证 由 定理 3.1,， Ba, G, q) =p (— I2] / (IOa). 不 难看 
到 

G: (t, à) =P (— |t|/ (a A(09)a) *) 7 Bs, (t, a) 
-à(- |tl/ (a/I7(89))?) 
X—U ER, a(40) € R^, EO Rr. K 
(a ACOA) (aI-(0a)? (a(40)€R", EO), 
从 而 AO 213(89, 6,CO, WREE. 

这 个 系 说 明了 ,为 什么 把 极限 分 布 为 (0，T-:(9)) K 
做 B. A. N EH. 

下 面 一 个 定理 为 我 们 提供 了 一 个 把 一 般 估计 改进 为 B. A. N 
估计 的 办 法 

定理 3.2 假定 定理 3.1 中 关于 分 布 族 的 假设 条 件 站 ii 
成 立 ， 进 一 步 假 设 ir)2 他 D 对 每 一 个 E 委 及 9EB 存 在 
HER, 而 且 对 每 一 个 goE9 存 在 邻 域 Vae cO 和 关于 Po PIZ A 
Yt H (v, 09), &i 

| arce 8) eZ e 2o) 


vVa— H d 有 | 
c. n P fE, Ody, (8.15) 


xn -Fr 表示 微分 算 子 (L0 





«H (s, 0) 19 一 gu， (3.14) 





00;00; 3822; exe 
TENI n*To(oz- .- TAMAH, 则 当 充分 大 时 , 下列 
估计 Oa Æ B. A. N fii: 
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OC 








b-b- Bn do(I— 320. 的 ) 810) 
此 处 名 (B) -l ERD . 


注意 有 B,(0,) 的 逆 阵 可 能 不 存在 , 此 时 在 久 的 表示 式 中 可 把 


Bj OW xk. REL, 下 面 我 们 要 证 明 L> IO, 而 
T(9) >0， 从 而 可 知 ， 当 mn 很 大 时 , 使 B7 (0,) 存在 的 概率 可 任意 
接近 1. 

证 根据 假设 V); 


o7 | je du | f, Odu 








- | |- gfe, 6) 
"(2o 9 y oo DN ] f (v, Odu 


-| 24559 Fw, 0) 10). 


g (22r. 9... — 19). . (8.17) 
由 于 多 是 相合 估计 , 以 及 假设 iv)I(9) 连续 , 根据 大 数 法 则 ， 
Mn — oo 时 ,有 
B.O) - 8.6) 0 (d. -& 
= — I (0o) -O&(|0,—0,]) --op(1); ` (3.18) 
Zle, 8) e Zn, 09) + (0, — 69) For B - 09D. 


(8.19) 


故 根据 Ôn 的 定义 ,有 
n (0, — 89) 一 / n (0, — 0o) — B; t (8) = $z (05 5 ) 


am V n (加 一 go) 一 LÊ; (89) -O&(|8,— 6, | )]. 
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[7 3146,09 + VA (0, —69) + A 6518-619 ] 
-17:(f,) JE. 6) -Fop (1). (8.20) 
因为 
EZ (25, 8o) = 0, Ba { (Z (a, 0o) ) (Z (t, 2o)) 一 了 (0o) A 
WC Zu (n (0, 一 00))->W (0, 1-1(0o))， 最 后 一 步 用 到 了 定理 
1.8, 


三 、 非 共同 支撑 分 布 族 的 渐 近 有 效 估 计 的 例子 
设 Xia, Xa, c 为 iid, 随机 变量 序 列 , 和 + RAIER xc d 
的 分 布 ; QPo(o) 一 Fz, Odu, 0cO0. 例如 P, R(0O, 0) (0-0— 
co) 或 dP, (a) -5 e da (0—B«co, -co<b<co， w>0) 等 
等 ， 下面 我 们 就 个 别 例子 来 讨论 非 共同 支撑 分 布 族 中 的 渐 近 有 效 
估计 问题 . 
定理 8.3 35 r(s)—075[0, ceo) 上 定义 的 连续 函数 ， 考 虑 如 


下 分 布 族 | 
dP) - fs, Odam |^ (6r (5)ds, : n 
(0<6<co). 


Xi, Xs … 为 具有 密度 f(w, 9 的 iid, 随机 序列 .， 则 有 


TS [73 voem, a 0<i< (r(B)a (0) 7 log 
o x t> (r(0)q (0)) log 2, 
B, -DB 当 t>0. (3.21) 


LE Ó, H 0 88 5075 置信 上 界 , 则 它 是 渐 近 有 效 估计 . 

证 因 IG. 0) e Dr) Iac nnm, t, te) 
Hemm max e 为 充分 统计 量 .根据 Neyman-Pearson 基本 引 理 ， 
关于 零 假 设 Hom 0, 对 立 假设 区 :0=00o+n- 共 的 最 优 检验 形 
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ox 
(af, )- 全 当 Vn) > Os, 对 t>0; 当 Vn) <Ons 对 t<0; 
"Ue 7le 其它, 
先 考虑 t>0 IURE. Xio HEA 
(fft. av =P). 
要 使 Poea (X>) =1— Pha (05) ~ 
从 而 可 解 得 : 当 Cu 一 bo 时 ， , 
O= f roy a7 Gerne (3) 
34 0<t< Cr (05) q (Bo) -+ log 2, 
P, (X5570,) -1- (0997 (Gs nto (3) Y 


ede i eU r(y)dy f f r(y) dy) 


-i-i(i-i T (09) q (0o) eo( Jy 


ee i er Oaa (3 : 22) 


在 On > bo Bf, 或 iz (r (89) (05)) ^* log 2 Bj, P,(X0,750,) 0, 
那么 ,由 (3.22) 就 有 Balt, 1) -1-4 P 


M <0 时 ， 
P, (X2«0,) 一 人 (gog (F) ) 
En 
d F 0 "0 (n -> oo), (3.23) 
由 此 式 得 到 
Bs, 71) mg entm (3.24) 
现在 采用 满足 方程 


MED nC etl n en C e a M MM-i ģ 





P; (2t) = (g(0)g En)" E 


的 估计 全, 也 即 aD) (3) at). A a0) 为 严格 单调 下 
降 函 数 , 故 其 解 存在 且 唯 一 . 
=Â) — 7 (8) —27 g-1(w%,) ~—g-1(0) 
=r (0) (ei —0) EE giat) 
+o( os t — 6) 
(因为 q^ (20) 一 0 (0) = r (0) (24. — 8) 十 Dp (204) —0), per z" 
-182 +o (二 ))、 另 一 方面 
471 (6) —g-1(0) =r (0) (6,—0) +orp(6,—0), 
所 以 n — 0) =ne — e) + (log2)g-1(0)7-1(0) +op(1). 


因此 , -Z (n(8,—0)) Zalewo) (log 2) (0) ANAR 
相 闻 的 极限 分 布 ， 但 对 于 <0, 


Prin (2-8) <i} — P1504) 
-(«o (o) 


q 84-— -47(0) ) 
ns 


—e («9 (noo). 
BS d (r(9)9(8)) log 2 时 ， 
P,(n(0,-0) <i> Le (n>o0). 
由 Gi (—1, DKE, E $0 时 有 


ên (— i, t) x i e f Oot 


再 由 GP, 为 的 定义 ， 当 Ot «c (r(0)9(6)) 11g 2 时， 值 为 
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1-3 


eof， 其 它 情况 为 0， 这 就 证 得 

(1, t) = Bolt, 1, ba (—1, t) = B, (t, —1) (8.25) 
X—459:-00&$0c€0j&Rxr.. ST 0,29 0 Bd Bre A i, 则 
是 显然 的 ， 从 而 ôs 为 8 的 渐 近 有 效 估计 ， 定理 证 毕 . 

关于 非 共 同 支撑 渐 近 有 效 估计 的 其 它 例子 ， 可 参考 竹内 启 的 
著作 中 


四 、 其 它 C 阶 渐 近 有 效 估计 一 一 回归 模型 
我 们 考虑 回归 模型 
9i 2, B - 8, ($—1, 2, e, 
此 处 回归 系数 B6ER* RA, T; 一 (Zu, "thy Vip) ($—1, 2, e) 
已 知 向 量 序列 ， 设 存在 wo, 使 np>m IM, S,— 3 2,70. 并 假定 
|z,| «eoo (i=1, 2, ---), $1 ^0 (n— oo), 
81, 83, c: 为 Vid, 随机 误差 序列 ， 具 有 密度 f(w)， 它 满足 如 
下 条 件 : 
i) f(2)2—0, z € E', 除 个 别 z 外 , f(z) 具 有 一 阶 连续 导数 . 
i) 对 任意 的 x€B!， 丝 存在 适当 小 的 4>0, 使 
fiets ; 
EXE i1|«A(»)4 





IZ(zx4)|^ 2 log F(z 土 四 <80. 
其 中 [Af edc, [Baf (doceo, 
[8*G) A (3) f (2) da. co. 
iii) [af (dz 0. 


定理 3.4 在 上 述 条 件 下 , EB SZ 阶 浙 近 中 位 无 偏 估计 


Ê, 有 .22083(8_B))-> N(0, dI) (n— co), RE JE EE 
效 估计 , 也 是 最 好 渐 近 正 态 估计 ， 此 处 
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i-[G'»/fGds, 8? si-5. 


证 首先 求 找 Baa, t), w 
Z,— Jog LU% (GABY) 
e 10€ fp) d 
由 引 理 1.1, 
Esras log LA (B+4B)) 
{ee fy B) } 


=Z- d (48) wa (48) (1-Fo(12)); 
f (yo (8+48)) | 
Bur salon ure aie | 
~—d(4B) ‘we (4B) (1--(1)). 


f(y—w (B23-AB)) 


=d (4B) zm (AB) (1.--o(1)). 

注意 此 处 deu, 刚好 是 San HRR. AEA 
Esas (Zo) =} d(AB)'S (AB) (1+ ol)) 

Vargrse{Zn} —d(48) Sa (48) AHC). 

Ej 8,1 —0, |n|«O«co (671, 2, «2, 注意 

Earsio (Z4. = dt? | b | ?/2 (1--0(1)); 

Varo) {Za} = di bl (1--0(1)), 

利用 假设 条 件 iD 和 中 心 极限 定理 ,有 


所 以 





Zansi ((Za -F10 ))> Co, arjo. 


2 


因此 " 
lim Poss (Z,- 1 de|b|*0)- 1. 
同 理 有 

BZ} = — dP|b|*(1--0(2)), 





(3.26) 


(3.27) 
(3.28) 





Vare{Z —dt?|b|*(1-4-o(1)). (3.82) 

故 有 | 
> lim P,(Z,-1 de [b|*20) 

-lim P, z, Clarae 时 


-0 (iar) T2 CD. (8-88 


对 任意 的 gx*0, aCR”, W b= |ala, THE R BE AR Ip a1 
à (— d? |t| bD KERK, 从 而 求 得 
Belt, à) =B(—dË |t| la]. (8.34) 
”由 假设 条 件 Z3- B))— N(0, dI), H 
lim P, (4/8? (B,— B) > |t) — im Pa (a'S$(B,— B) « — ltl} 
-o(- |t]d? ja] =B., a). (8-35 
事实 上 , 上 式 就 是 
QEG, à) = Bolt, d), 对 任意 的 B, aCR?, az0 tC RI, X 


就 证 明了 À, 是 渐 近 有 效 估计 . 

对 其 它 任 一 B 的 估计 Bu, 若 满足 

(S82 (BB))> NO0, AC), 

根据 Neyman-Pearson 基本 引 理 , 对 任意 的 a0, 8C R^, 1€R! 
有 GÍ (t, a) Bs (t, a), a A(B)az-d^|a]?. 
也 即 有 4 (8B) 之 d-1Ip， 这 说 明了 f 是 最 优 渐 近 正 态 估 计 . 至 此 
定理 证 毕 . 

至 于 局, 采用 什么 形式 可 达到 B 的 渐 近 有 效 估计 , 用 类 似 定理 
3.2 的 办 法 对 最 小 二 乘 估计 进行 改造 即 可 得 . 


S4* Bahadur 渐 近 有 效 性 i 


Bahadur 在 1960 年 07 提出 了 一 种 渐 近 有 效 性 的 概念 ， 这 种 有 效 性 是 
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比较 估计 与 真 值 的 差 值 荡 在 0 的 邻 城内 的 概率 , 当 样 本 大 小 % 无 限 增 大 以 及 
邻 域 无 限 缩小 时 趋 于 1 的 速度 ， 本 节 介 绍 Bahadur 这 一 渐 近 有 效 性 的 概念 ， 
首先 叙述 分 布 族 有 共同 支撑 、 了 isher 信息 矩阵 存在 有 限 的 情况 , 然后 简 述 定 
义 的 扩充 情况 . 

dX Xs 为 从 总 体 ( 有 2, P, OEO) 中 抽 得 的 iid. 随机 序列 。@ 
是 在 R 中 的 开 区 域 ，Pe。 关于 o- 有 限 测度 几 有 概率 密度 f(x, 0)—dP./dw 


(0OEG@)， 我 们 假定 : 人 fxz,9).9EB@ 有 共同 支撑 ; iDa, 0) — o8 f n 9) 


存在 且 有 限 ; iiI(0) - ESQZ(X, 0) (Z(z, 001-0, AR. 6 0, $0 88 
依赖 于 Ti; tt, X 的 估计 . 
定义 4.1 若 思 是 9 的 相合 估计 ,又 若 满足 


1 A 1 1 
zx E 4.1 
lim sup lim sup "T log P,(10,— 0l 28) « 2 1305] (4.1) 


对 一 切 9E@ 成立， 则 称 0。 具有 Bahadur 渐 近 有 效 性 ， 简 称 如 为 的 也. 
A. E. 估计. 
lAl -—max[Ar |, | 

[Y] 表示 向 量 的 欧 氏 模 。 由 线性 代数 知 ， 如 果 A0, [A] 为 4 的 最 大 特征 
根 . 

又 车 90) 为 具有 一 阶 连 续 偏 导 数 的 天 维 Ce p) 向 量 函 数 , fa 为 其 依赖 
qnm tt, Ta 的 估计 

定义 4.2 车 9 为 9(9) 的 相合 估计 ,如 果 对 一 切 9E@ 有 下 式 成 立 ; 








lim sup lim sup — log Ps(]$,— gC0) | 2 e) 
8-30 f£ ne 


1 


< DO OQ" 


(4.2) 


则 称 纪 为 9(9) 的 也 A. E ikih, yt b D (5 - (299 ) 


è 
&x9 


Bahadur 渐 近 有 效 性 的 定义 并 没有 对 估计 类 作 多 少 限制 , 例如 要 求 属于 
某 阶 相 合 估计 ， 或 要 求 具 有 某 种 渐 近 无 偏 性 等 ， 因 此 这 种 有 效 性 应 用 较 广 ， 
当然 比较 的 标准 也 就 粗糙 一 些 ， 例如 上 节 所 举 的 超 有 效 估计 的 例子 ( 例 
3.1), z X 


2 

z, 其 它 ， 
在 这 里 都 是 0 的 B. A, 卫 估计 , 即 用 Bahadur 有 效 性 的 标准 不 认为 它们 之 
. 284 + 
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HAER. 

对 于 定义 4.1 及 4.2， 人 们 自然 要 提出 这 样 的 问题 ; 为 什么 满足 (4. 了 与 
(4.2) 式 的 估计 就 称 为 “ 渐 近 有 效 " 的 ? 它 在 大 样本 时 的 优良 性 的 根据 是 什么 ? 
下 面 我 们 来 证 明 ; 在 一 定 条 件 下 , (4.1) 与 (4.2) 式 的 右 端 是 0, g(0) 的 相合 倍 
W Âm 9 代入 (4 1) 及 (4.2) 式 左 边 的 值 的 下 界 . 这 样 就 回答 了 上 面 提出 的 
问题 . 

我 们 对 分 布 族 竺 如 下 假设 : 

1° f(z, 69), OEO 有 共同 支撑 ,pCflz, 0) +f, 02) 0, 23 017-62 
(E0). 


2° Z(s,0)- 208108 D 对 每 一 5 存在 有 限 , 且 是 9 的 连续 函数 


3” 对 每 个 90EQ, 存在 一 个 90 的 邻 域 Po,cC@ 及 A(x, 00)>0, BE, 00) 
>0, 使 得 
I cAG, 90)19-6o| Qi OET); 
IZ(z, D| xB(z, 6) | G4 0€ Va); 
105) »-0, | 
其 中 E Al, 09) «oo, Eo Bz, 05) «co, Eo Alx, 09) B*(z, 09) € oo , Xi 
fei e E. 
4? 9(9) 是 z(<2) 维 有 连续 一 阶 偏 导数 的 向 量 函 数 . 
定理 4.1 如 果 分 布 族 满足 上 述 1°~3° 的 假设 条 件 , gO 满足 4°, 则 
对 9 或 g(9) 的 任 一 相合 估计 6 或 9。， 皆 有 


. a . * 1 1 
lim inf lim inf — In P, (], — 04] 7 5) > — IEG (4.3) 
3g bonn. 1 ^ 
lim inf lim inf c In P,(1gs— g (00) | 7 8) 


et INN 
2| (D(09))'1 1099) CD Oo) | 
《对 任 一 0, c0). 


证 首先 对 9(9) 为 连续 可 微 实 函 数 的 情况 来 证 明 (4.4) 式 , 然 后 对 g (05 
为 一 般 石 维 向 量 注 数 来 证 (4.4) 式 ， 至 于 (4.3) 式 , 它 是 (4.4 式 的 特殊 情况 。 
不 妨 设 D(Q40, 因为 若 D(90)==0 时 (4.4) 式 显然 成 立 。 因 此 
(D(C00)) I TO) (DO0))>0. 
id d— (D(09))'11(89) (DCO0)). 
选取 OL 并 取 充 分 小 的 s>0 W 0* —0,-e11D€0, 于 是 8 一 0 
时 有 


(4.4) 





—————————————— —— rn er ——— —— — ——M — o 


g(0*) — g (B9) = (D(8,))'(0* —0,) --o(]0* —6,|) —ed-Fo(s), — (4.5) 
若 记 6~med, HOA c (0, 1), Hit, 25 s 充分 小 时 就 有 
9(8*) — 9 (6) >A. (4.6) 
现在 来 考虑 假设 检验 Ho0m6, 玉 :0 二 0*、 限 定 在 玉成 立时 接受 假设 
E RARO, 由 Neyman-Pearson 基本 引 理 , 存在 基本 唯一 的 检验 函数 
L 当 ra ESC n 
$i Je 当 ru (af) — Os; (4.7) 
0, =] fs (1?) «Cs, 
其 中 ， 29 om (74, ..., Tn)» 


ry (a9) = TL fo 8*)/ Hf 89, 


C5。 是 与 < 无关 的 常数 ， 使 得 Bo 人 2(X"”) = T, fi a A E, PIM < 
E, s (X9), IE d CX) 为 任 一 满足 条 件 Ese (s CX) 7 f t 6 i 
数 . 
记 d,— en109*,90*»' (s! 0). 
aem Badi(X) > ,Fe 60320) 


> 地 | a 5 DG Go dua) 


-去 全-[ Boe maneo 


> 地 | 


1 HE Bere r9 4,3]. (o. Q8) 


2 


由 大 数 法 则 ,并 注意 Eo log LEGIO", 0), 故 
lim P,. [r, (X?) >da} 
一 jim Pe. (log r,(2) > log d, 
el 1 2 (x , 0*) * A EUER 
lim Pee iz Se Eee IQ 》 05) 4- 8 | 0, (4.9) 
由 (4.8) 及 (4.9) 就 有 
lim inf 二 log an> — (I (0*, 65) + 8^, (4.10) 
由 s>0 的 任意 性 , 推 得 
lim inf 二 log an> — 1(0*, Oo). 
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XHUEES 18/8 1.150. e 0 时 ， 
K*, Go) 2. (0* — 05) 1 (03) (0* ~ 69) 1o (0) 


-i E? (D (69) )11(05)1 CONIECO (D (69) ) (1 5-0 (1)) 


=Z &Xd(1--o(1)), (4.11; 
现在 假设 和 是 g69) 的 任 一 相合 估计 ， 令 
{Db 当 19,-9(00)|>46; 4.12) 
Pe E 其 它 . 


由 于 9 是 相合 估计 ,注意 (4.6) 式 ,有 
lim inf Ej. (9, (一 lim inf Ps. 1|9s — (09) | 24) 


lim inf Py(19(0*) ~g(00) | - 19,9 (9*) >18} 
-iim inf Bl 和 -gslg -9(00)1 -48} el, 13 
BOE KB N, EH n>N 时， 
E, (es Q9) oe 


那么 由 Neyman-Pearson 引 理 知 
Eo, ba (X0) pma. (4.14) 
TAE (E. 10), (4.11), (4.14), 便 有 


lim inf lim i íl95—9(060)] 25) 





2 lim 1 ing lim n inf os log P. (l1g.— gCo) | DA, 


>lim i inf lim n inf -GIT log a, 





t. gra : i . 
>lim inf aar ]-—mug ( 9-38. (4.15) 
再 由 Ae d & A1, BH EX 


Í125— (6551 25) 





T" (4.16) 


2| DOS OIDO 
这 就 是 (4.4) 式 。 为 进一步 证 明 当 9(0) 为 无 维 向 量 函数 时 上 式 成 立 ， 任 取 
(€ Et, [1| —1, 则 Vg) 为 一 维 实 医 数 . 设 95 为 g 的 任 一 相合 估计 ， 因 为 
I (ga —-9(90) | «l!lligs — 9 (09) ll l2» — 9008, 故 容易 看 出 753。 是 29(9) 
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的 相合 俩 计 、 由 上 面 证 明 得 
liniiuf iif 


£0 5-99 na? 


Py GS 9(00))|>8} 





T 1 
7 EFKOXGDYT WO CTI) 


对 上 式 右 端 关于 1 取 极 大 值 ， 再 由 1 4 的 定义 ， 便 推 得 (4.4) cx. 定理 证 
毕 . 

上 面 的 定理 首先 由 Bahadur 给 出 ， 我 们 对 定理 的 条 件 有 所 减弱 ， 对 于 
某 些 非 共 同 支撑 的 情况 , 参数 估计 的 Bahadur 渐 近 有 效 性 在 卢 尾 亮 ea 文中 已 
有 讨论 。 显 然 定 义 中 的 Fisher 信息 阵 , 必然 有 相应 的 变化 . 


$ 5 Cramér 浙 近 有 效 性 与 第 估计 的 渐 近 方差 


Oramér 于 1945 年 在 他 的 名 著 [19] 中 从 估计 与 真 值 差 的 二 
阶 矩 达到 极 小 出 发 , 提出 了 他 的 渐 近 有 效 估计 的 定义 近 三 十 年 
来 不 少 作 者 认为 有 了 渐 近 方差 的 概念 就 够 了 . 事实 上 , 这 两 个 概 
念 还 是 有 差别 的 .与 Oramér 渐 近 有 效 性 有 关 的 是 建立 在 矩 估 计 
基础 上 的 某 些 估计 的 渐 近 方差 估计 问题 ， 也 是 Cramér 首先 建立 
这 方面 的 有 关 定 理 . 和 矩 佑 计 是 经 常 采 用 的 一 种 估计 ， 其 方法 虽 较 
古老 ,但 有 简单 易 行 的 优点 , 在 某 些 场合 下 ,具有 很 多 优良 性 质 . 

仍 假定 Xs, Xa, … 为 id， 随 机 序列 ,它们 具有 分 布 族 
GP. (c) =f(%, 0)dp(z), GEO, 6 是 R 中 的 开 域 . 0, (vi, ZA 
ER O 的 依赖 于 wa，…，zn 的 估计 . 分布 族 的 Fisher 信息 矩阵 存 
在 且 有 限 . 

定义 5.1 车 6 的 相合 估计 ,满足 下 列 式 子 ， 则 称 其 为 9 的 
Cramér 浙 近 有 效 估计 , 简 记 为 OC. A. E 估计: 

limaE,((6,—0)(0,—9)) -17(8), OE9. (5.1) 


定义 5.2 350,3 0 B (p) HIS B ERG gO 的 相合 估计 . 
如 果 对 一 切 0E@， 有 下 式 成 立 ， 
limnBot{ (gn — g (6)) (8,—9(8))'1 = (D(0)) I3 (8) (D(8)). 
(5.2) 
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WEK gn H gO W O. A. E. 估计 ， 

为 什么 对 满足 上 述 条 件 的 估计 称 之 为 具有 渐 近 有 效 呢 ? 这 是 
因为 在 某 类 估计 中 , (5.1) 与 (5.2) 的 右 端 为 二 次 损失 的 渐 近 下 
界 . 所 谓 渐 近 有 效 就 是 能 达到 此 下 界 . 下 面 就 来 证 明 这 一 事 
实 . 

定理 5.1(Walker) 车 分 布 族 满足 $ 4 中 所 设 的 条 件 1"~8"， 
并 进一步 假设 0 的 估计 Ôn 满足 


al 3 B os 
i) «0e ag EÂ,- 0) 0 (n9), 


则 对 一 切 9E6 有 
lim inf aE,(9,—6) (8, —0)'2-13(8), (5.8) 


I(8)j Fisher 信息 阵 . 
如 果 对 一 切 06E 台 ,进一步 假设 
i) ZV n (四 一 及) 一 人 (0，4(0)); 
iii) n|8, —0|2 关于 {Po(z t, W} 一 致 可 积 ， 则 对 每 一 
个 0E 有 
A(8) 2170). 
证 根据 对 分 布 族 的 假设 ， 不 难 验 证 O-R 不 等 式 条 件 成 立 ， 
WIER EER, 
n£'E,((8,—0) (0,—0))£ 
ð 2 
" e (gh O m 
>E IIE mica had i (5.4) 
故 由 假设 让 有 ne 
lim inf a£ E,((0,—0) (0,—0)) 6726€ 17 (WDE. — (6.59 
由 上 的 任意 性 ,由 (5.5) 式 立即 可 推 得 (5.8) A. 从 而 和 定理 的 第 一 
部 分 得 证 .至 于 第 二 部 分 , 由 所 给 条 件 i) K iii), AJH Helly-Bray 
EMMA, (0.5) 式 左 端 即 为 400), kA (0) 17 (9). 定理 证 
HE, 
系 5.1 如 果 上 述 定理 中 的 条 件 这 ) 换 为 对 于 9 的 具有 一 阶 


UT E m n a ns iri aa gi t MR 





RE HARE St AES e Cp) E 16] 8 ERE g (0) Bü o Ga RARE nl gu — 
g (0) | 一致 可 积 , 则 有 
(D(8))'A(8) DOAS CD(8))'I? (8) DO (5.6): 

Xi—u 0c0 成 立 . | 

此 系 的 证 明 很 显然 , Mn. 

EE O1?) 定理 中 的 条 件 了 是 对 估计 有 偏 性 的 一 种 限制 ， 如果 
Ôn 就 是 9 的 无 偏 估计 , 则 条 件 自然 成 立 ， 如 果 此 条 件 不 成 立 , 则 定 
理 的 结论 难以 保证 成 立 . 8 8 中 开始 举 的 超 有 效 的 例子 , RETRA 
足 此 条 件 而 产生 了 超 有 效 的 情况 . 

2°) 此 定理 也 告诉 我 们 , 如 果 9,g(0) 的 估计 6,,9, 是 B. A.N 
fiit, RXEn|]8,—6|? xx n1$,—9(0) 1 一致 可 积 ， 则 它 也 是 0. A. 
E. 估计 ， 由 于 Helly-Bray 定理 的 必要 性 也 成 立 ( 见 Loéve; 
«Probability Theory»)， 因 此 ,一 致 可 积 性 是 一 个 B. A. 估计 
为 0. A. E. 估计 的 充 要 条 件 . 不 过 一 致 可 积 性 一 般 难 以 验证 ， 这 
是 证 明 O. A. E. 估计 的 困难 所 在 . 

下 面 来 讨论 矩 估 计 的 渐 近 性 质 . 有 不 少 情况 是 : 要 估计 的 未 
知 参 数 或 其 函数 是 描述 总 体 的 某 些 特征 ， 而 这 些 特征 往往 是 总 体 
的 各 阶 矩 的 函数 ， 倒 如 均值 . 协 方差 阵 、. 相 关 阵 、 变 异 系数 等 等 . 在 
人 
的 函数 作为 估计 。 设 Xnr Xa © 为 éd, 随机 序列 .那么 


y,.-l» Xs 


n A 
人.- 二 XQn- X) (X,— X5 
£,— (r9 | 
分 别 为 母体 的 均值, 协 方差 阵 , 相关 阵 的 矩 估计 ， 这 里 
Fm Dis — Tnn) (Bw — Evn) 
J È Ca-n) Blew- Era), 
而 sw 是 wy MTS e MAAN Emi JI 二 的 第 个 分 量 ， 在 我 们 要 他 
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计 的 是 这 些 矩 的 函数 时 ， 只 要 把 样本 相应 的 移 代 入 相应 的 待 佑 函 
数 , 便 得 到 矩 估计 比如 , 要 估计 变异 系数 o (o. 为 母体 的 标准 


3, /为 均值 )， 其 矩 估计 为 T Se E)? /5 Sint] RSS 
计 击 中 某 目标 (如 回 . 方 决 等 ) 的 命中 率 


- 1 -la-2'a4-2) 
(B; u, A) "T dt, 
X Hog SS SUA — Abd IN Qu, 4), B 蚌 目标 区 域 ， 此 
时 矩 估 计 为 (B; X, Àj). 

-在 此 应 指出 : 如 果 和 :服从 指数 分 布 族 ， 其 分 布 密度 为 
dPe(z) 一 B(0)e ”rdp(w), 9E6B.、 当 样本 的 大 小 为 n 时 , X. 4E 0 
的 完全 充分 统计 量 ， 由 充分 统计 量 的 充分 性 原则 ( 见 第 一 章 $ 6) 
An, 待 信 的 9 的 向 量 函 数 a(0) 的 优良 估计 是 了 ,的 函数 .这 是 
一 个 矩 估 计 . 这 里 自然 产生 一 个 如 何 估算 6s 的 均值 及 二 次 损失 
E(&,—a)(à,—o«)' 的 问题 .估计 矩 的 函数 也 同样 存在 这 样 的 问 
题 ，Cramér 在 其 名 著 [19] 中 研究 了 这 个 问题 。 下 面 我 们 采用 
[21], 介绍 更 一 般 形 式 的 结果 . 

定理 和 .2 k X, Xs, … 为 iid, 随机 序列 ,7 维和 癌 量 a= 
(a, e, a) Jé g CT) PEUX C — (os, …， co) WAKA. A O; 是 
CO ijfhi E. 假设 

i) a (C) Æ O 的 某 个 邻 域内 有 二 阶 连 续 仿 导数 ; 

ii) 存在 常数 85,20, 5,20, M0, 使 得 

E |a (0,) | 3*9 « Ma^, 
ii) FEE% K 2 (8--1.50,4-20,) 01^, 113. 
E(Ó,—C) -O(n?5, 
E|Ó,—O|*—O(n*) QM K<Ko+1). 

IA ân =a (Ôn) fe Ja a B SERE, 25 an= ân — o 有 下 列 性 质 : 

1°) Ea,-—0(n5, (56.7) 


2°) Bá, (- 28) B(0.0) (6) +O, (6.8) 
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x m C, - Ó,- 0, 
89) 3 Z (mn (6,—-0)) N (0, A), 4 


PNN %)—>N(0, (2 5)4( 
证 REBR ii), s 是 0 的 相合 估计 .又 由 Taylor 展开 


(5.9) 





3X 
à, à, a (55-6, 0) -«(16,—01). 
H Z (£n 8) BSEC 8 S (n (S) (6. 0) ) 的 极限 分 
AH. HUP Qa (0,—0)) —^N(0, 4) Qin- o9), iK 
ə A eoa 
AEE 0-0 Jor (o (25) 4C) ) iem 
结论 3 ) 成 立 . 
设 s>0. 记 也 = fy， Da) Onl <e}, D; 为 D. 的 余 
集 ， 取 max(2, ko 二! 过 bo 十 1, L2 (24-64 +/+ 8). 由 
Ohebyshev 不 等 式 及 假设 证 ) 知 , 存在 常数 Mi>0, 使 


PD) < oe = « M n7. (5.10) 
令 P.) 368 C 的 联合 分 布 ,于 是 
Ea(Ó,) -| a (1) dP, (1) tb a()dP,G), — (5.11) 


根据 Holder 不 等 式 
«ll ps le (5 poant ia dP, p 


IMPO AO 
siad. ) [259 2:3. (P (D2)] SES 
«MS MP e I ERR 3:5 Lo (72). (5.12) 
取 8 充分 小 , 使 <(O) 在 O 的 e- 邻 域内 存在 二 阶 连 续 偏 导数 ， 依 
Taylor EFA 

















&(0,) — (0) +( C+R, (5.13) 


az) 
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其 中 R-GS 


1 d (Y KY )— ec 
Hes 2 36.26, " OsOr GS n), 


而 0* 为 C 与 0。 之 间 的 某 个 点 . 
由 条 件 外 知 ,存在 s( 只 与 0 有关) 使 


全， 3666 |«s Q4 |6, | «e). (5.14) 








而 
| a(t)dP (~a(O) P, D) + -2f CaP +Í RdP,, 
D, ft n n DO D, n n Dn ny 
(5.15) 
1 = c € e i -1 Z Amy 
|, CaP, EQ, 人 CaP， O(n-!) | n CEP. 


(5.16) 
由 Hólder KER, 


J 


5,19? {Ps CD) 








一 0 (n3) M? sn $ —0 (n7), (5.17) 





3 dg (im, s n). 


小 


由 (5.18) 及 (5.15)~(5.18)， 就 有 
| » &(DdP, CE) =a(0) P, (Da) +00) 


(5.18) 


—a-aP,(DO)-0(n7)-a--O(n-), (6.19) 
HAH (5.11). 6.12), 6.19), 就 有 
Ha(,) -a+0(=). 
这 证 明了 定理 的 结论 1^). 
现在 证 明 2 ): 由 (5.13)， 


= 人 73。 





EC a a (td P, "n (a (1)) AAY d P, (f) 
-| m Ser )6.0( ) aP, 


e. RR M" p R aP, 


+f, ROLE) aP, + |n aw ap, (5.20) 
由 (6.10) 及 假设 条 件 10) ii), | 
|j. GC) co»'ap, |< fp 1a. 
«|, |a (£) Papel |a |2*^ ap, yel fa p, pE 





























«Mar Me eR E 0 (n2), (5.21) 
同样 由 (5.10) 及 假设 条 件 1) ii), d 
Ja. Go) C(e) iP- £0.00 (367) 
Qm (ao )€. 0» 5) Pa A29) 
deos (3) 
« er |, 10. IP, V 
«ee dion o* Ge) -oo T, 
(5.23) 
由 (5.14) 推 得 
[RI<SIO,l?. (5.24) 


因此 由 (5.24)、Holder 不 等 式 、 假 设 条 件 Hi), A.. 


人 74。 























|, 2 nO (A-) ar, | -2 ap, 
«xps | A8. fi Ó d P,. 
«ps | acr 1]18«1*d p] - 0 (n 5, (5.25) 
同 理 
D, - 0(n 3), (5.26) 
再 利用 (5.205, 就 有 
|. BRAE, (101d P,=0 (n7), (5.27) 





综合 (5.20) ~ (5.28), (5.25) ~ (5.27), 就 有 
EED EOD- (ZECO) - 0 (75. 
(5.28) 
因此 证 得 结论 S, 至 此 , 定理 完全 证 毕 . 
注 如果 定理 条 件 ii) 进一步 假设 B Onn) =0 (n3) 
(b, 1, m=1, -, q), Ca O, RI E ARAME Gl, g). 3X 
当 放大 ho, 并 把 六 加 强 为 三 阶 连 续 偏 微分 存在 ， 那 么 用 同样 的 办 
法 ,把 Taytor 展开 式 展 成 三 项 ,于 是 结论 27) 可 加 强 为 On-2)。 
8138 5.1 d Xa, Xs, X iid, 随机 序列 , H. E| X; |** o, 
Ji] 35 Es ko 时 ,有 
E(X,—EXjy* 
(k—1) 1! (DG) n E+ 0 37) (35 k BED; 
fii moan" T B(X,- EX) 3? O(n [31-5 


Qu k 为 奇数 )。 
(5.29) 


iA X,- 1$ x. 
.证 首先 由 独立 性 ,得 
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EG - EX) (QC, - EX] TI EQG - EX" =0, 
l (5.30) 
WR cMn-h Hrs, mm 中 有 一 个 为 工 利用 上 式 ， 并 注意 
X; c6, X, A I] ABB, did Y.— X,— EX, 有 
Y. " 1 n k l 
E(X, MUN Y,) 





NN 
nm rt tr ,TT — za 

NT HE 1 

nr f 2 2n. 1; 2a at, Mu 0 full IL EY? 


! S E -ke3 [E] /[ *k-a [3] 
ua gte pp) 77 


x (EY?) [$]-* (EY? [2] 
nr [s]- -1 
t 2; 2n Shc cian Žraty EE m^ 
c r 
全 Ta! em! II EY? 
€ I (n, b) - R(n, E); (5.31) 


z Hra E (当下 WARO 
Iln, k) = 


eo (DX) H po, HE)’2 dg 
2 


(4 k 为 奇数 ) 
Gu (DLR) Ë+ 0 (n 375 ( 当 为 偶数 ) 





Tos (k—1) (DOG) 7 E(X,— EX 954.0 (a * E913 


Qu 为 奇数 ). 
(5.82) 
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j= Xj r,22,721,—,4 他 Try! v=1 
Om (5.33) 
H (5.81) ~ (5.33), 31E. 
下 面 我 们 来 说 明 ， 在 指数 分 布 族 中 用 和 矩 估 计 法 所 得 到 的 对 参 
数 函 数 的 估计 是 O. A. E. 估计 . 这 是 因为 对 指数 族 
d P(x) =f (æ, 0)du - 8(0)e** GEO) 
车 日 是 开 集 ,那么 由 第 一 章 中 的 定理 2.2 4, X1 的 各 阶 矩 都 存在 


有 限 ,而 X,-l- 3 x Jn (9) - EX. Bj UMVUE, 它 的 协 广 


ZIJ O-R 下 界 IHO), Ait, X, 是 Oramér 意义 下 的 渐 近 


有 效 估计 , 也 是 B. A. N. 估计 ， 如 果 我 们 估计 的 m(0) 的 向 量 画 
数 GCm) (注意 ,下 一 章 将 要 证 明 9 与 m(9) 是 1 对 应 的 , 因此 9 
的 向 量 函 数 可 表 为 m(9) 的 向 量 函 数 ), 只 要 存在 5>0, 使 得 
EslG (Rs) [<Ma (63>0), 
那么 由 定理 5.2, 就 有 
EG (X,) =G (m) +003), (5.34) 
E,(8(X,) - G(m)) (G X.) am) 


-(28) var Z(E) c0 (5. — (9.85 


因此 G (m) tg fito GCX,) 也 是 0. A. E. 估计 在 下 章 我 们 要 
证 明 在 多 数 情况 下 , X. 是 n 的 极 大 似 然 估 计 , G CX.) tidie Gm) 
的 极 大 似 然 估计 .由 于 指数 分 布 族 满 足 前 面 注 中 毛 提 出 的 加 强 


条 件 ,因此 (5.85) 右 端 里 的 O (n DTA O (n7), 





问题 与 习题 


1， 令 随机 变量 X 服从 二 项 分 布 B(p, n0<p<1). RR P(|Z -p 
> s 的 Chernoff FER 
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2.” 在 定理 3.3 中 ,如 果 e,— N(0, o’), 则 定理 的 结论 改 为 强 相合 也 成 
M. 


3. 4a, zy o Jy iid, 随机 序列 ， 具 有 密度 函数 Lg (2-9), 此 处 
OER 与 c>0 肖 未 知 , HA z€ E 时 , 了 Cz)>0。 f(z) 处 处 连续 ,并 且 
I= E OY D da< oo 





试 证 明 
D zi 一 Co = OÈ), AE Op 为 分 布 函数 PCz) 一 | Cd i o 


RUK, mio 为 mu za s 加 中 第 [pr 个 次 序 统计 量 ; 
i) sh pahat p 如 何 构 造 一 个 9 的 渐 近 有 效 估计 ? 


4. 在 什么 条 件 下 ? 回归 寞 型 中 回归 系数 的 最 小 二 乘 估计 可 改造 为 渐 近 
有 效 估 计 . | 
5." 在 题 3 中 , d nel, f) 1c 3) (7), BOR O 的 渐 近 有 效 估计 . 


6. dE E| X|* e» (270), 则 存在 实 函数 9(b)， 且 im gC) ~ oo, 使 得 
ECXI*gCIXI)) «co. 

[提示 : Soto e - f aala), GPX, >a). | 

7.* S m, Tott, n^ iid, 随机 变量 ,BX1 一 0, EX <o, Hm i 
分 布 关于 原点 对 称 ， 则 


E ($ am) «sak-Di(32) gw. 
[提示 用 多 项 式 展开 ， 消 去 期 望 值 为 0 的 项 ,放大 Ente Bagy 为 Ex 
以 及 相应 的 系数 ,使 之 能 写 为 ( 0 et 的 形式 , | o 


8. 令 31, 93, e 为 iid, 随机 序列 ， 具有 正 态 分 布 N(60, a°), OER, >00 
ERAL 


sum ale 和) e (EAEan 
而 且 o(- 5 X. ge | zf- 和 2 yis Cramér 渐 近 有 效 估计 ， 此 处 (x) 与 ple) 分 
别 表示 标准 正 态 分 布 和 密度 

9. 令 zz … 为 54. 随机 变量 序列 , 它 具 有 密度 函数 Lf (zz: 


e 
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-o (2-*], 此 处 6>a, o0 cm. CO 同上 , 试 求生 的 一 到 四 阶 的 
中 心 矩 ,从 而 构造 出 ww h, e? 的 矩 估 计 , 并 求 其 新 近 协 方差 阵 . 
10. 在 定理 3.3 中 , 试 求 lim lim -1- log P(15,—0] »- edit 
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BrE RAMAT 


极 大 似 然 佑 计 方法 ， 是 一 种 传统 的 、 比 较 直 观 的 参数 估计 方 
法 , 它 有 不 少 优良 性 质 , 至 今 仍然 为 数理 统计 研究 者 所 感 兴趣 的 主 
题 之 一 ,特别 是 关于 它 的 渐 近 性 质 的 研究 . 本 章 介绍 极 大 似 然 信 
计 的 定义 和 不 变性 、 指 数 族 的 极 大 似 然 估 计 、 极 大 似 然 佑 计 的 相合 
人 性、 渐 近 有 效 性 以 及 把 非 渐 近 有 效 估计 改 造 为 渐 近 有 效 的 方法 
F. 


31 极 大 似 然 佑 计 的 定义 及 不 变性 


设 样本 X 的 概率 空间 为 E, Ba P, £-—(P,, OEO} p 
ACF, 45 上 的 一 个 o- 有 限 测度 ， 并 设 Zu, 即 对 每 一 0E@， 
存在 关于 的 概率 密度 p(w, 9) 二 dPolw)/dw， 同 以 往 的 约定 一 
样 ,我 们 总 假定 样本 空间 CIC, ZARAR IW. (9, Zo) 都 是 欧 氏 
的 . 

若 把 p(w, 0) 看 成 是 29299X@ 上 的 函数 ,是 可 测 的 , 我 们 称 之 为 
似 然 函数 ， 通 常 ,把 密度 函数 p(z, 9) 看 成 是 似 然 函数 ， 需 强调 的 
是 ; 对 每 一 个 固定 的 o, 把 它 看 成 是 参数 9 的 函数 . 

定义 1.1 我 们 称 未 知 参数 9 的 估计 9(z) 为 其 家 大 似 然 估 
计 , 如 果 它 满足 | 

ple, 0) -supp(a, 0) a.s.w (1.1) 

常 记 为 0 的 MLE, 

又 车 9(8) 为 待 估 的 无 维 向 量 函 数 ， 记 @=9(9),， 它 是 恶 中 
的 一 个 子 集 , 称 g(9) 的 估计 9(z) 为 它 的 极 大 似 然 信 计 ， 如 果 存 在 
06Eg 1(9(w)), 使 
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supple, 0)—p(s, Ô) a.s.. (1.2) 


这 个 定义 是 目前 一 般 的 数理 统计 书 上 所 采用 的 . 因 杰 求 
p(z, 0) 在 6 上 有 定义 , 即 要 求 6E€ 86， 从 而 也 要 求 g(9) 的 极 大 似 
然 估计 和 值 需 在 8 中 .这 在 实际 情况 中 有 时 不 能 满足 ， 例 如 , 求 二 
项 分 布 B(n, p) 中 wp 的 极 大 似 然 估计 ,车 设 @= (0, 1), 众所周知 ， 


Pp 的 MLE 为 和 ,其 中 为 试验 “成 功 "次 数 ， 俱 当 8 一 0 或 4% 时， 


则 不 符合 上 述 定义 ， 这 说 明了 以 上 定义 是 有 缺陷 的 .为 了 克服 这 
一 人 缺陷 ， 我 们 对 定义 二 .1 给 出 如 下 的 补充 : 除去 满足 条 件 (1.1), 
(1.2) 的 6.9 分 别称 为 9.9(9) 的 极 大 似 然 估计 外 ,如果 Ó (a), g (o) 
分 别 满足 下 面 的 条 件 (1.1)‘ (1.2), 也 称 为 96.g(0) 的 极 大 似 然 舍 
it. 

如 果 6(z) E@, 但 存在 一 串 0,. EB, 使 


lim 0,—6, 
(1.1)' 
lim (e, 04) TOME Dw, 0) t. S. Rb, 
如 果 g(z) EQ, 但 存在 - EEO, 使 
A 1.2Y' 
Fan 0,) -supp(z, 0) a.s. p, ien 


经 过 这 样 补充 之 后 ， 在 上 面 说 到 的 Z RHN pH MLET. 

注 1 在 如 上 的 定义 中 , 我 们 并 没有 要 求 似 然 函数 p(z，0) 一 
定 要 关于 0 可 微 , 当 plo, 0), OCO 有 共同 支撑 时 ,为 计算 方便 起 
见 , 有 时 采用 使 log p(o, 0) 达到 极 大 的 方法 来 表述 MLE， 又 如 果 
它 关于 9 可 微 , 则 往往 采用 求 似 然 方程 7 log ple, 0) 一 0 的 根 的 
办 法 来 求解 6 的 MLB， 但 要 指出 的 是 , 似 然 方程 的 根 并 非 一 定 是 
MLE， 反 过 来 ,车 似 然 方程 的 根 不 存在 , 也 并 不 能 推定 MLE 不 存 
在 . 

注 2 极 大 似 然 舍 计 有 时 不 唯一 . 
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— Bii DRX, =, X. did, 随机 变量 , 服从 均匀 分 布 
R(0, 8) (0-009), BN 
. d Pe(w) —0 " Eiocnaxte, moss) (Ede, 
不 难看 到 0 (a) = max v; 是 6 的 唯一 的 MLE, 
ii) 设 Xi, e, X, X iid, X, R(0, 0--1) ( —^o—0«oo), 
因为 aPo(w) =pl, 0) da — I uin oremar a<0+11 (z)de, F Æ 


max z,—1. mina, 及 它们 之 间 的 任 一 值 都 是 9 的 极 大 似 然 估计 ， 


这 说 明 9 的 MLE 有 无 限 个 . 
现在 来 讨论 极 大 似 然 估计 的 不 变性 原则 .， 直接 从 MLE 的 定 
义 出 发 ,立即 可 得 如 下 定理 
定理 1.1 车 gy(0) 是 在 @ 上 定义 的 可 测 向量 函数 , 为 不 维 
非 退 化 凸 集 ，6(o) 为 6 的 MLBE, H4 (2) EB 时， 对 任意 点 列 
(62 —6, 15 lim 0,— 0 (s), 极限 值 iim g(0)) 存在 且 相同 ， 并 且 


€9(6), 那么 
. gÊ), | (s) EG; 
I=) lim 9(0), (89c6, 4 Ol) &e. 
Æ g(0)i] MLE, 
证 i) 先 证 9(o) 的 可 测 性 : 任 取 @ 的 一 个 内 点 go 定义 
gi (uv) -g(0 (2)) Tri ee &) o( 2e +ê (1 - 子 ))Temsei(o) 
(i=1, 2, …), B O WIEBE, gu (o) 有 定义 ,以 及 9(9) ôE) 
的 可 测 性 , 故 g.Co) 可 测 , 从 而 
lim f; (w) = g (a) 
可 测 , 即 为 9(0) 的 一 个 估计 . 
i) (w) X MLE, 当 6(w) EB 时 ， 因 为 6(o) 为 MLE, 所 以 
H sup p(e, 0) -p(z, 8(2)), 但 bo)Eg ^ (9(e)), 故此 时 定义 
1.1 满足 . 
如 果 6 lw) 志 8， 由 定义 1.1 的 补充 可 知 ， 存 在 {00} c6, f 
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lim 6,-8(), H lim p'e, 6) sup p'e, 6), 但 又 由 9(9) 的 假设 


RAER Gw) 定义 知 , 此 时 有 
9 (2) —lim g (0.). 
故 又 满足 定义 1.1 的 补充 ， 因 此 jw gO H MLE, 

注 3 mE uÂ EO 一 0, 则 定理 中 关于 8@ 的 西 性 以 及 
g0) 在 日 的 边界 上 的 连续 性 等 假设 条 件 就 没有 必要 了 .， 此 时 可 
令 9(2) 一 常数 , 当 6(w) E96, 9 仍 为 g(0) 的 MLE, 因为 在 RR 
上 改变 估计 值 不 影响 估计 的 性 质 . 

X4 ”即使 9 的 MLE 不 存在 ,不 能 断定 gO) 的 MLE 也 不 存 
在 . 

例 1.2 HIPAA), (0—X-00), HIT BER IE 


p(z, X) - PIX oa] =£ (a0, 1, 2, >), 


T 
众所周知 , à 的 MLE Jg À— v, [Hin 0 —1log A, Bj P,(X —20) = 
77-0, 而 它 只 在 和 =0 或 9= 一 oo 时 , 才 达 到 极 大 ， 这 说 明 0= 
log à K MLE KEH. 1 

按照 因子 判别 定理 (第 一 章 8 6, BUE T (o) 是 9 的 充分 统计 
H, 那么 密度 可 表 为 p(w, 8) — fo (T (m) )h(m), TI, 9 的 极 大 似 
Mit Ó 是 充分 统计 量 了 (2) 的 函数 ， 不 过 , 6 未必 为 完全 充分 
统计 晤 的 函数 , 因为 完全 充分 统计 量 不 一 定 存在 . 

例 1.3 dk X, =, Xn X iid, DLEE, XRO, 20), 
0<0<oo， 则 容易 求 出 9 的 MLEÔ Jj mina, s 3 maxa, RÈ 
们 之 间 任 一 值 ， 可 见 6 为 完全 充分 统计 量 (min wo max ax) 的 函 


数 ， 当然, 0 自身 并 不 是 充分 统计 量 , 更 不 是 完全 充分 统计 量 . 
下 面 举 几 个 例子 ,说 明 UMVUE 与 MLE 的 关系 . 
511.4 Xi, Xo o, Xn 为 nn 个 iid, 随机 变量 . 
i) 4 X,— R(0, 8), 0 一 0 一 co W0 的 UMVUE y. 


(1++)maxz, E [(1--2)max X,—0 ] ES A 





1«i«n LL (n2) ! 


* 284 « 








29? 


pm } 二 和 本 
8 的 MLE 为 maxzi, E [max X, 0] QD 








0 的 最 小 平方 损失 风险 佑 计 为 : 
n2 n 1-2 A 8? 
nic ps qi, g[*7 EI max .X,— 8 | TU (nciy 


i S X,—N(u,o?), —oocucoo, 0-o?-«oo, V] o? 的 
UMY U yj, 


1. s = T 一 DER us 
E EN, S. --gq3 PE E — ds 一 -一 uds 
n-—1 2n cz) 3 可 一 一- 2i T) o°] n—1' 


co? 的 MLE 为 
S (ma), El $-zsp-o 2g. 
o? — — 


mg 


"NA > (wi~— 2)? — o? | 一 一 -一 -Ce4 


iii) 34 X, B(1, p), 0<p< 1, id q — 1 — p, 则 0 = pg 的 
UMVUE 为 ， 


oe) q, Gee D 





n(n-—1) n(n—i) 
-8 22n-3) 9. 
"n  n(n—1) 
MLE 为 ， iz a (n 312), 


1 um d 2 
E[o- (2o) n- 3:2) 
LD? g dm On. ga, 
Tù TU 
此 例 说 明 , 就 平方 损失 而 言 , MLE 与 UMVUE 相 比 ， 随 分 布 
不 同调 各 有 千秋 , 都 不 如 最 小 平方 损失 估计 ， 
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$2 指数 型 分 布 族 参 数 的 MLE 


一 、 指 数 型 分 布 族 的 某 些 进一步 的 性 质 
我 们 在 第 一 章 8$ 2 及 第 二 章 $ 4 中 已 介绍 了 它 的 许多 优良 性 
M. 为 研究 指数 族 的 MLE 问题 ， 我 们 需要 对 它 的 性 质 作 进一步 
补充 ， 关 于 这 方面 的 研究 ,有 兴趣 的 读者 还 可 参考 文献 [2], 3], 
[4], [5]i), 
我 们 考虑 标准 化 的 指数 族 
d P,(v)-—8(8)**du (OEN), (2.1) 
其 中 ， 我 们 设 样本 空间 (2 Be) H k HEBR ECRU, u 为 其 上 -AR 
测度 , 8() -[J dua), 16:080) 为 自然 参 
数 空间 , QC R*. 
首先 来 明确 参数 9 与 % 的 有 意义 的 值 域 . 我 们 已 知道 是 
Rr 中 的 凸 集 . 记 
Q^ — Q 的 内 点 集合 , 即 8 的 内 部 ; 
m(0) ~ BCX) = BCO)| wor dp 
M = (m(8), —oo«m(8) «oo, OEA}; 
D= (zo: 对 任意 670, u(1o—29! —8) 70, ay C X) 
C-—D AGRE, Bas DaBioBd, 
C—O 的 边界 : 
O 一 CO 的 内 点 的 集合 , 即 C 的 内 部 . 
由 指数 族 的 性 质 (第 一 章 定理 2.2) 及 上 面 记号 的 定义 , 不 难 推 得 . 
i) HOE m, W |m(0)| coo, WM = WM 的 内 部 ， 则 
M*— (m(8):0 € Q9, 
ï) jp(2 一 DD) -u(4—0) -0, 从 而 对 任意 的 9EO, P(X- 
0)-0, 这 说 明 A^ 与 C 等 价 . 
我 们 可 以 看 到 9 的 函数 m(0) 及 9 本 身 有 它 特殊 的 意义 ， 因 
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此 在 这 节 我 们 仅 讨 论 2 A m0) 的 MLE， 由 于 MLE 有 不 变性 ， 
似乎 只 要 漠 清 0 的 MLE 就 可 以 了 . 但 事实 并 不 完全 如 此 ， 因 
为 以 后 我 们 会 看 到 ， 有 时 即使 8 的 MLE REE, MÆ mO) 的 
MLE 依然 存在 . 

以 下 我 们 皆 假 设 OC? 非 空 ， 亦 即 表示 X 为 非 退 化 的 维 随机 
变量 .其 次 我 们 假设 LS, MELEZE, LERA 实质 是 
R*(%< 之 h) 内 的 山 集 ， 此 时 我 们 可 以 降 维 ， 把 指数 族 看 成 是 维 分 
布 族 就 可 以 了 .因此 , 这 两 个 基本 假设 是 不 失 一 般 性 的 假设 . 

如 果 对 指数 族 (2.1) ETE n UR Sr BRE Xa, oe, Xu, ER 


X-L3 工 ,是 完全 充分 统计 量 , EY. 的 分 布 仍 为 指数 族 , 自然 


参数 空间 O 和 样本 空间 均 不 变 . 因此 我 们 只 需 考虑 m% 一 工 的 情况 . 
但 需要 指出 的 是 ;车 要 细 究 , X 与 X 的 值 域 O 虽然 一 样 ， 但 概率 
结构 却 不 同 了 . 

引 理 2.1 i) —log8(0) 在 2 上 是 严格 凸 函数 ; 10) Mao’; 
tii) M= {m(0), 0 EQ} 与 0 一 一 对 应 . 

证 DE OHER A 0901 R 0<p<1, 利用 Hilder 不 
等 式 ,有 

—log BC phot (1—p)6.) —log |eooraraooedn 


se [ fe au jen] ] 


= plog |^ du+ (1—9)1og fee du 


= —plog 8 (Oo) — (1—9)log 8(01). (2.2) 
而 且 使 等 号 成 立 仿 存在 常数 o 使 


1—n» P 
g 1 - Pie L gerti | p ) = cet 90s Q. 8. "n^ e (1— 5) iw 


= (1—95)0w, a. 8. p, 
但 因 0 关 0o， 这 不 可 能 成 立 ， 故 上 面 只 能 取 “ 一 ”号 ， 这 就 证 明了 
— log B (0) 为 严 凸 函数 . 
i) 若 对 某 个 OEQ, mO) "HER, 但 .9) cO?, 因为 O Jr 
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集 , 故 由 第 一 章 $ 3 的 定理 3.1 知 : 存在 支撑 平面 a (z 一 m( 的 ) 一 0， 
使 当 sCO B, a (o—m(8)) 70, BI Poe CX —m(80)) 20) —1, 
1B Esa (X. — m(8)) — a'(m(8) — m (8)) —0, 从 而 Pete CX — 
m(0))-—0f—1, 这 说 明 O 几乎 全 是 边界 ， 这 与 O" 为 非 空 的 假设 
HF M. 
iii) Wb 6:9041(0,.0,C Q), h e EGA, X 是 非 退 化 的 ， 
利用 Jonson 不 等 式 , 得 
BBa) 6x —61X B (85) 03 —61)'in(8, 
go dag tom es 

IU R eeo m8) «1, 如 果 qm (04) — m (63) , 显然 与 上 面 的 


两 个 不 等 式 相 矛 盾 , 故 证 ) 的 结论 成 立 . 

. 8183.2 i) «€0? o6 XHEX la] -18]i X ac R*, HUN 

p (ata (m —99) 70) 0; | 
ii) Zi e) € O^, 对 任意 (00 CO, IR lim6,-6,€ 0 RE 


lim p(o, 6)-0, 其 中 pæ, 0) =B), — (2.8) 


证 “) 一 :对 任意 coE R*, lag| — 1, 因为 wo 是 C 的 内 
Hà, W ON {tz:cote 一 )>0} EER, BAGR. HT CO 是 包 
食 了 D 的 最 小 凸 闭 集 以 及 由 D 的 定义 ,有 
po: as (w — vo) >0}>0. 
“i €. 假设 eo € O9, W wo 或 为 0 的 边界 点 或 外 点 ， 因 此 
H O 的 凸 性 , 存在 [ao] —71,ao € E^, 使 当 wEO 时 , as (2— vo) «0, 
M uva (z—29)20)«u(27—0)-0,. Ag DREE. 
ii) WE wo 是 0 的 内 点 , 则 一 一 定 存在 充分 小 的 8770, 使 
| ini piat! (2 — 29) 78) —8(8) 0, (2.4) 


事实 上 , 车 取 50, 使 ze 的 28-48 IR V as (29) = (v [9 — vol 二 28} 
CO 存在 (aj CR, la] 21(—1, 2, ---), 使 
ò (8) —lim uiz; a (9 —29) 7 8). 











E (n) 有 界 , 不 妨 设 lim wm 一 coE Br， 于 是 由 测度 的 连续 性 知 : 有 


8(8) —u iz; ac (&—49) >s}, 但 oo 的 s- 邻 域 了 (oo) 的 边界 上 一 定 
存在 一 个 点 v, 使 

{2: ao (t — vo) >E} = (v; ao (y —1) 70). 
HEX e NORA, dB i)mS(e)—uisac(2—21) 70. FE 
(2.4) 得 证 .从 而 由 p(w, O) iE (2.4) X, HE 


lim sup p(z, 0,) —lim sup 一 
$—co $—0o 


£9. 1 
im in 
Jera du lim i J e% -dy 





«1/lim in 了 | eio 9 qu 
ioo (64(2—0,)/1041 8) . 
b Li 1 
— este zl 
«lime te oy 79 Q8 la>), Q9 


另 一 方面 , 如 果 lim 6,- 65€ 0, 由 9 的 定义 知 ， 


, —1 
Bo) - [Je du] =o, 
故 有 
lim sup p(ao, 0,) —lim e» /lim inter du 
省 一 co ioo $—0co 
«ome / flim e** du=0, 
和 -co 

至 此 , 让 ) 得 证 , 引 理 全 部 证 毕 . 


二 、 指 数 族 参数 的 MLE | 


利用 上 面 的 结果 ， 我 们 可 以 证 明 如 下 9 B MLE 存在 唯一 性 
定理 . | 
定理 2.1 Zií4(0-09-—4u(0)-0, HQ—Q0?, WA 
(i) 似 然 方程 | 
v—m (0) (2.6) 
当 zEO" 时 ,有 了 唯一 的 根 (v) 存在 ; 
eA 0(27), Heco’; 
Gi n = ^ " E O?, 


一 一 一 一 一 一 





是 9 的 基本 唯一 的 MLE，(2.7) 式 中 的 9 是 2 中 的 任 一 定 值 . 

证 “分 以 下 几 步 来 证 : 

(a) 因为 C(O) 一 0, K4 sco? 时， 由 MLE 的 定义 , 此 时 9 
的 MLE 在 点 可 取 任 意 值 go Q, 

(b &Q—Q* 当 wEO? 时 ,由 引 理 2.3 知 ， 此 时 似 然 函 数 
piz, 9) 只 能 在 Q 中 达到 极 大 ， 但 又 由 引 理 2.1 知 ， 一 log 8(9) 是 
0 的 严格 凸 函 数 ， 从 而 ge 十 log 8(8) A 6 的 严格 凹 函数 , 因此 在 0 
上 存在 唯一 的 极 大 值 点 gCz)。 这 就 证 明了 8 的 MLE 存在 且 基本 
唯一 .但 g(z)E9= 9o， 故 必 满 足 似 然 方程 


o- — 1, log B(O) -m(). 


因为 6:56; m (61) 2 m(03) ,故此 似 然 方程 仅 有 唯一 的 根 0 (e). 
定理 证 毕 . 
注定 理 的 结论 对 于 Q—0'49, 4 0c0—0, Eo X |= 
的 情况 下 , 仍然 成 立 (参看 [21). 
定理 2.2 如果 b==1, 即 在 单 参数 的 情况 , XU m(9) 的 MLE 
存在 , 而且 基本 唯一 (a. s. 1w) 地 可 表示 为 
v, 当 wEM, 
m(w) =la, 当 w<a, 假定 M 存在 有 限 左 端点 四 (2.8) 
b, 当 w>b, 假定 MM 存在 有 限 右 端 点 5. 
证 情况 1， 4(0)—O0, 在 定理 2.1 已 讨论 了 9 的 MLEÓÉ(z) 


基本 唯一 ， 当 2E0° 时 ，6(z) 为 似 然 方程 <- 一 后 9 o m) 的 


根 ， 当 wE0, 可 以 任意 取 定 一 个 值 . 由 于 mm.(0) 为 单调 严 增 函 数 ， 
满足 MLE 不 变性 定理 的 条 件 . 故 当 wwE€0,m(0) 的 MLE ms) = 
m(0(z)) 一 wz， 当 wEC 时 ,可 按 (2.8) 式 取 值 ， 由 (0) 一 0, KE 
m(z) 在 C 上 如 何 取 值 ,都 不 影响 其 MLE 性 质 .至 此 , 在 情况 1 下 
定理 证 毕 . 

情况 3，HA(C) >0， 记 C 的 端点 为 zm 和 zw， 显然 ,其 中 至 少 
有 一 个 有 限 , 且 使 在 该 点 风 的 测度 为 正 ， 不 妨 设 ulam) 0, 








D Vm, 8) m d 1 nr OlT- Emn) du, 
ee Pm 


EOS ama, 3 2€0, d oae dy, 是 0 的 严格 上 升 函数 (因为 
C? 3e), 从 而 pow, 9) 为 0 的 严格 下 降 函 数 ,而 当 9<boE O 时 ， 
je < P ad du | 20 uii 
«eto | 2 


EIE 0 8(6) «co, 从 而 6 € Q, 这 说 明 吕 无 有 限 左 端点 。 此 时 ， 
p(z«, 0) REE 0— 一 co 时 才能 达到 极 大 .但 为 一 方面 ， 


qet TIm) du 
Him m8) — lim LN Eml {Vm} ) 
SES | e e» dy, p (ta) 


e^? du 十 | e^^ du oo. 
z0 


= Qu = M 的 左 端点 e, (2.9) 
同样 ,对 (eur) 770 的 情况 ,可 以 证 明 pleu, 0) 29 0 的 严格 
ERKA, a RARAWA. MERA 0 一 ce 时 达到 极 大 ,而且 


lim m(0) zu M 的 右 端 点 5. (2.10) 

那么 由 MLE 的 定义 可 推 得 
| mss) =G, 34 (Ios) >0 时 ; (2.11) 
TW(my)-b, 4 w((zu)) ^08. (2.12) 


M scO 时， 情况 完全 与 情况 工 的 分 析 相 间 . 但 应 当 指 出 ， 如 果 
p (2.1) 70, RRAN EO, ea 的 情况 , 若 ({wx} ) 70, 就 
不 会 出 现 z€0, xb 的 情况 . 

根据 情况 1.2 的 分 析 ， 就 证 明了 (2.8) REL me) 是 
m(9) 的 基本 唯一 的 MLE, 定理 得 证 . 

注 3 在 定理 的 证 明 中 情况 2 的 证 明 过 程 中 已 说 明了 当 
w(C)>0 时 ,由 于 plzm. OR pleu, 0) 只 能 在 无 穷 远 处 才能 达到 
极 大 , 说 明 此 时 0 的 MLE 不 存在 . 但 是 我 们 已 看 到 m(9) 的 MLE 
却 依然 存在 。 此 事 就 说 明 有 了 9 的 MLE 存在 性 的 定理 后 ， 仍 有 


* 291> 





必要 讨论 m(9) 的 MLE 存在 性 问题 . 例如 二 项 分 布 及 Poisson 分 
布 都 属于 此 类 情况 . 
5|2.1 dj Xi, e, X. 为 id， 随 机 向 量 ( 维 数 px, Xi1— 
N(u, A), 此 处 40 为 p 阶 方 阵 , 见 为 2 维 向 量 ， 则 X — (Xs, 
和 的 联合 概率 密度 是 


Jn n 
(2a) 5 (dot A) exp! — -5 Sau Aa i) 
ENS u —« 1 E j 
= (2m) ? (det A) ? exp E irA 3 X vm, 
+ D1 Ay -5 u A7], 
í-1 
tapt CD POPES) 维 指数 分 布 族 ， 记 
e: (Sin, D cU, ) — (T5, Ta); 
i-1 t=1 
== —i — i -1 . 
6— (A7, $4 ) 
Q- (47: jp cR, -lacao)- = Q9; 


ET = (nu, nA nuu )9m(0) 

C 为 卫 的 值 域 ,为 {TE Ro, T0), ERROR uhi 
凸 集 .由 于 分 布 的 连续 性 及 ZL(C 一 0°)=0, 根据 定理 2.1, 似 然 
方程 为 

np ~ $in, n(A+tww’) -T,-3 Wis, 
它 有 了 唯一 解 
po A-t Sioa -Ant SoA), 
i=1 7) i-i 
这 就 是 .4 的 MLE， 至 于 9 的 MLE, 是 
6-( 人 0， 一 二 人 ). 
出 极 大 似 然 估计 的 不 变性 ,我 们 还 可 得 到 
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1 b g— t 4-1 g— 
(B) = (22) * (det 4) 引 ny 
B 


一 去 (z 一 内? 个 :1(z 一 六 da 


的 MLE 为 @(w) — (2x) Ë (det Af e 
例 2.2 wX, o, X, H iid, BEMER, BAR T wn 
率 密 度 
p(o, 0) - 8(0)e*". 
| [«v*dz, M 1-cr-oo 


di — (r0 
n j u{1}>0 7:0), 
a-| iisose pun ccapedcssenestiscüp (edges y 
peces s) QU r1), 


M O«r«lHh, 0-0? m0) H MLE X m=z, Mi-r«2lW, 
E| X |=, kkm WHR M 为 (1 oo), Ki m(8) 的 MLE 
Ah m=X, (BM r>2 时 ， 


y i—r (v—2)p[1)--14 
EX =D X. mc e py Ag 
í UC 9-r (rijali ^' 


于 是 M-(L, 如， 此 时 有 
A T, 当 l«zr«b; 
&)- | z 
b, 4 gb. 
最 后 ,我 们 指出 ,车 指数 峰 给 定 的 原始 的 形式 
ple, 0)du.— B()exp| 33 (ps, =, pi) Til) Jdu 
当 g= (Pa, o, 00 的 自然 区 域 O 为 开 集 时 ,8 的 MLE dif d 


我 们 可 以 推 得 9 的 MLE 是 满足 方程 T= 了 的 根 , 而 m(0)=BT o 


H MLE JS m—T, E p= (pu =, o) WRN 0 KRA, B. H= 
(SE ) 非 奇异 , 由 不 变性 原则 知 : 5 一 p( 外 是 p 的 MLE， 众 所 周 
Al, Fisher 信息 阵 


19) = E, (210g. 0 (2g pio. 9) ] -cov 


= —( 2log B(8) 
( 0:0b; ) ig 
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而 关于 g 的 Fisher 信息 阵 则 是 
I(g)— (H3)'I(8(9)) (E), (2.14) 
这 样 ,我 们 初步 讨论 了 指数 分 布 族 参数 9 以 及 均值 m(0) 的 
极 大 似 然 估 计 , 给 出 了 其 MLE 存在 、 唯一 的 充分 条 件 和 计算 表达 
式 ， 细 心 的 读者 会 发 现 , 这 些 结果 仍 可 作 更 深入 的 讨论 ， 事 实 上 ， 
0 的 MLE 存在 唯一 的 充 要 条 件 已 在 [510 中 给 出 , 有 兴趣 的 读者 
”可 以 参阅 . 


$3. 极 大 似 然 售 计 的 相合 性 


—. MLE 强 相合 性 的 一 般 定 理 


H Xi c6, XQ, oc H iid, 随机 变量 序列 ， 它 们 具有 关于 o- 
有 限 测度 4 的 概率 密度 pl, 0) 一 dpo(%)/dp, OEO, 并 设 日 为 
Rr 中 的 一 个 开 域 ，0O。(m4,，…， m) ORAE m, cn, 0. 的 MLE 
关于 MLE6, 的 强 相 合 性 问题 ,一 些 著名 的 数理 统计 学 家 一 直 在 研 
究 ， 例 如 Wald' Le Cam'?, Huber ?, Bahadur'? 等 都 作 过 贡 
BA. 我 们 在 这 里 采用 M. D. Perlman"? 工作 中 比较 具体 而 又 有 广 
泛 应 用 的 形式 , 其 具体 证 明 由 卢 昆 亮 所 给 出 . 

记 @@ 为 @ 的 闭 包 , 必要 时 可 使 其 包括 无 穷 远 点 , 使 日 构成 紧 
R. XD T n2mc0,0.09€0, W 2-—(P., 0c0); 并 记 


l i P(t, 6) 2 
ln,n(0, 9) - i A. pm, p)? 当 Al, p(er, 8)70; 





0, KT. 
(3.1) 
In, 480, p) = Es (lu, .(8, 9) (3.2) 
Is, nð, N,)— inf Jmn, e. (3.3) 
此 处 入, 为 2 的 邻 域 . | 
Imn, No) = Eslla, (0, N,)), (8.4) 


4 Mi Io 54n(8, 9) — Io, mð, 9), Is n4 n8, N,) = lo, mð, N33); 故 
可 把 它们 分 别 简 记 为 Ia, o), In(0, No). 
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定理 3.1 假设 
1) HEO +p EO), Po( p( X, p) p( X, 0)) 50; 
2) 对 任意 ZE 和 ，p(z,， 9g) 是 上 的 上 半 连 续 函 数 ， 对 任意 


9 C€6-—9, [rig ml, lim suap IT pla, E) «oo, a. s. P”, H, 
625£^59 4-1 


对 一 切 9€8, P, flim sup [Ï P(X; €) -0 1-0. 
3) FE m1, 使 对 一 切 0EB, pE@, p*9， 骨 存在 开 邻 域 
N,, 使 14,0, N,)7 —oo. 


3 0,-Ó0,(0,, -, 2) H 6 I MLE, 则 对 一 切 oeo, 有 
P, (lim, -—)-—1, 


-证 分 以 下 几 步 来 证 明 此 定理 . 

i) 对 任意 的 OEO, gE€6, o0, W 1,00, p) FE, 而且 
Im(0, p) >0, 

由 条 件 3) 知 , 4 pcO RI, Im, p) >In, N) > 一 c2。 再 
由 条 件 1) Jenson 不 等 式 , 就 有 Inb, p)>0, 

当 pE8 一 8B 时 ,定义 pl%, p) -limsup ple, £), a. s. P, 
由 条 件 2), ple, p) «oo, a. s. 多 从 而 可 以 定义 luus (0, o), 
Inn, p). HE S), 有 

Im, p> E inf lom, £)) 714(0, N,)7 — «o, 


(3.5) 
因为 


Ial, 9) — Eolo, (0, 9)1 
+ E, (lo, m( 0, p)I 


qi, 5. E 
{a Plt, me " : »)) 


y cU Em). (3.6) 


{ paso -o 
由 条 件 2) 知 ， 上 式 右 端 第 二 项 等 于 eo, 而 第 一 项 大 于 —9o, 从 而 
I4CO, 9) — o0, 
i) 对 任意 的 9EB9, pg€8, o0, 人 (tu 
I4(8, N,)70, 
. 根据 条 件 3), 存在 2 的 邻 域 We 使 得 IS (0, NP) >- oo, 





UN? (一 二 2 …) 是 一 串 9 的 邻 域 ,满足 NDSNTDOSNDO-, 
并 且 当 9 为 有 限 点 时 ，limN 多 = (o), 35 9 为 无 穷 远 点 时 , 此 时 N, 


表示 有 界 闭 集 的 余 集 ， 要 求 im inf |6| 一 co。 易 见 
| D" teN$ 


—coo«I,(0, N)«I4(Q, NP) 
应 用 p(z, 9) 关 于 og 的 上 半 连 续 性 ,根据 让 和 单调 收敛 定理 ,有 
lim Z,(0, N2) zEs(lo «(8, 9))>0. (8.7) 


故 存在 do, 使 得 14,(0, N)20, WN = NO, Hie 让) 得 证 . 
iii) 对 任意 的 620, 4 N,—(£. I£—0|«s), iu N?-6— 

No UNS 为 紧 集 , 由 Heine-Borel E RA HEM K (i0), 在 

EARE FRR No, NS, S, Wew( 其 中 包括 一 个 ce 的 邻 域 


N.), WU NoN, E. Iu, No)>0 (1, 人， 


KH Inl, N,)20 (i 一 1 o, k), k 有 限 , 则 存在 充分 大 的 
正 数 有 ,使 得 如 下 定义 的 / 
on(9 No), ln, Np) Ms 
| M, M lo,n(0, No)>M. 
(8.8) 


Wn(0, No) = 


有 MSE, Ne))>0 (一 1 =, k), 
对 于 任意 的 n, n=rm+h, 0<h 二 m, 注意 到 
limir 4Dm4O No,) (250, 5, p 1) 
Jé Wd, 随机 变量 ,因此 ,我 们 车 如 同 50, N,) 一样 定义 
Uia genna lO, No, WS, (0, No), HEAREN BY,(9， N g) 


那么 Mil p gi Mi 
lim + = 24, NS) = EnO, No), a.s. Ps, 


foo 


(8.9) 


由 于 0<h<<m, M 
lim J- r(A BURACO, No) HR O, Ne)} ~ EG Na) 
(3.10) 


— M aree —MM i 9 95 





ME EQ (6, No,) >0, 于 是 | 
(Sut. Na) +R wo<o] 


HIE 3a, No) 1O, N 2]«o 
p 
ci 2 li) C0, N pi de bs (6, No) | 


— Es (8, N,,) < 一 - Eso n .(8, No) L, 
再 由 强 收敛 的 充 要 条 件 , 得 ，  ” | 
PO is URACO, Wo) CA, N,)«o]]- o Qr eo, 


3.11 
AP iml, …, k, din 


iv) 现在 来 证 明 9 的 MLEÓ, 25 Pĝ, 说 9) 一 1， 也 即 要 证 ， 
对 任意 的 s>0 PU) (8,6125) ) 0 (N — oo), 但 


. Il; Pw, 0) 
(16. —8: >E) 4 —, <t 
II p(z, p) 
i= 
h 
II plz, 0) 
C min inf | log += 
| mu ec No II pa, p) 
A+imth 
r—i plt, 8) 
+ AE uiua — — |S 
: pas, p) 
jm+tk+1 


F1 
| C [min LRC Øx.) + 2 Um i, Gba (8, S, ]«o! 
EU [a0 ox) + Flims, Na) <0]. 
(3.12) 


H (3.11), (3.12), 立即 得 到 
e 287 > 





P(C dé. 01>} )<P, (100 


1 s—N 


[as (8, ON )) 


r—i 
(M) 
+ SQ, Ne) <0 |) 


k oo r—1 
«P ( U | D 5940, No) + le O, N, «o P) 

t-1 n=N (j—-O 
20 (N >o) n 


从 而 定理 证 毕 . m 

为 了 使 定理 便于 验证 ， 下 面 给 出 有 关 条 件 B) 的 两 个 充分 条 
it. | 
D X — 6 € 6, — oo «E, (log p (X, 0)1, 并且 存在 


m(z1), glws, ^, €), ^it sup] log IT p(w 0) ]«oos, --- n), 
a.s. p, 且 对 每 一 个 9€6, Eg(Xx, ©, Xm) <00, 
或 二 ) 存 在 m( 之 1)， g(a, ", tm), 使 


Sup log II pla, 9) 
6 2 t=1 


且 对 一 切 OEO, E,g(X;i, e, X4)«oo, 

定理 3.2 车 定理 3.1 的 假设 条 件 成 立 ， 又 着 进一步 有 : 对 
任意 的 s>0 和 每 一 个 gE@, EN; = {p: 0-pl > 18 中 的 每 
个 op 缘 存 在 某 一 邻 域 W。 EA 8?>0, 使 得 当 一 6<t<0, m< 
2m 时 ,有 Ese ooo AEE 00,270, 使 得 9 的 MLE 
Ô, WE Tox. 





eg(m,-:-,9.), G.S. p, 


P,(8,—0|25)«ce*, 6c6, (8.14) 
证 ẹn=rm+s (m«s-2m), 由 定理 3.1 的 证 明 , 加 上 本 
定理 的 化 RARI, FE k TRR NS, oe, NS, 使 得 Ns 被 它们 所 
覆盖 , H | 
Elo, (8, No) >0, Boe'™e 一 oo 
(—6«t«0; i1, --, E), 
那么 由 (3.12), 有 
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rt 


P18, 01>0) «3 Pr (S limos, Ne) 
+ lmmte O, No) <0) 
<2 Eo expit 2 Un, Gom (0, No) Hlm, Ma | 
— SAU tente y gta (3.15) 
其 中 一 6<t<0， 若 记 随机 变量 o 4(0, NR] 8E GL Hoy 
M C) a Hetiomo, Ned) 
由 第 五 章 $1( 三 ) 知 , 它 在 乍 义 域内 是 连续 可 微 函数 ,又 由 假设 条 
件 知 其 定义 域 包含 [一 6， 0], 而 M, 0-) = Holo,mn (0, N79, 故 
M m OE t= 的 左 侧 是 上 升 的 , Ai fede 4€ L-9, 05, 使 
Mga(5)—M,4,:00) =1 (%=1, xe k). 
RAIE, 若 记 4= max Mat), B= max MU), iE XL 0< 


n—s. mn—2m n 
A«i, 0c B«oo, ro ——— 9 5 W 由 (83.15), 
有 
P,(]8, —0|2 2) &« K ATB«OCc^*, (3.10) 


其 中 可 取 a= |log 4/m|, O— K Beana 
注 2 从 定理 证 明 过 程 中 可 以 看 到 ,〈3.14) 式 中 的 常数 C 与 


a 的 选择 是 依赖 于 9 的 若 加 上 条 件 
A= sup inf Eee m. Ne) 71; 
e*ocÓ t | 


B= sup E gee Noe) <o 
1«0,0c0,0x.9c8 r 


则 这 些 常数 可 以 选择 得 与 0 无 关 . 
—. &BAEmESSMLE 的 强 相合 性 


定理 3.3 ib jz) 为 一 个 了? 维 欧 氏 空 间 上 有 界 的 上 半 连 续 的 
密度 函数 ，lim f(z) 一 0, W 


i) 位 置 参 数 分 布 族 {f(s 一 0), 0ER} 中 0 的 MLEÓ, 7g d 








而 且 强 相合 ， 若 进一步 假设 存在 8>0, 使 得 Ev OD) o, 
则 定理 3.2 的 结论 成 立 ， 
i 对 位 置 刻度 参数 分 布 族 (27E), 0ER, oo], 


如 果 |w…2| fC e, C) AF, MCO, o) 的 MLE 存 在 而 且 强 相 
合 , 并 且 定 理 3.2 RE. 


n) 对 刻度 参数 族 Tres e, EE, ojo ji, 
p 


Op 7 O1 


"sp. Ti dfTE 970, 使 得 EZ A 有 界 ， 则 a (01, "ty 


cn) 的 MLE ô, 存在 ,而 且 强 相合 ,定理 3.2 的 结论 也 成 立 . 

证 明 从 略 , 读者 可 直接 验证 定理 3.1 及 定理 3.2 KMR. 特 
别 是 验证 定理 3.1 后 指出 的 有 关 条 件 3) 的 两 个 充分 条 件 . 此 证 明 
留 给 读者 作 习 题 . 


三 、 指 数 族 参数 的 MLE 的 强 相合 性 


定理 3.4 9 XO, XO, .. X iid, 随机 向 量 , 服从 7p 维 非 
退化 的 指数 族 分 布 ,具有 关于 o 有 限 测度 及 的 概率 密度 pa, 8) — 
BEO, OEN, A 为 自然 参数 区 域 , WWR. FES 2 那样， 
C X T (a) KERE hn (o, 0 为 0 的 内 部 ,如果 存 在 no, 使 得 
M n>m Bi, T7 3 TQ), xé—46€9, PTE O- 
C?)) —0, Ji] 9. m(0) — EX HMLE, (a, +, 20), Male? --, 
xm) 是 强 相合 的 , 而且 定理 3.2 的 结论 成 立 ; 又 若 定理 2.2 的 条 件 
成 立 , M m(0) 的 MLE 也 是 强 相合 的 ， 此 时 定理 3.2 的 结论 也 成 
AL. 

证 ”利用 定理 2.1， 有 关 m0) 前 MLE H Ta, 利用 Kolmo- 
gorov 强大 数 定理 可 知人 了 ,~> m(0)a. s. P, BT. m(0)5j 6 —— 
对 应 , 是 连续 映照 。 故 9 的 纺 也 是 强 相 合 的 ， 至 十 此 时 定理 3.2 
的 结论 成 立 , 可 直接 利用 Chernoff 定理 证 明 ， 至 于 定理 的 第 二 部 
分 , 可 直接 证 明 . 具体 证 明 步 又 , 留 给 读者 作 习题 . i 

”从 定理 3.3 及 定理 3.4, 不 难 验证 一 些 常见 的 分 布 族 的 未 知 
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参数 的 极 大 似 然 估 计 毕 是 强 相合 的 ， 同 时 估计 与 真 值 的 欧 氏 距 离 
大 于 任意 给 定 的 s>0 的 概率 随 抽 祥 个 数 妈 的 增 大 以 指数 速度 下 
EIF. 这 些 常见 的 分 布 族 是 一 元 利多 元 正 态 分 布 族 《估计 均值 
与 协 方差 阵 ) Cauchy 分 布 族 、 双 指数 分 布 族 、 卫 分 布 族 、logist 
分 布 族 、 极 值 分 布 族 〈 估 计 位 置 ， 刻 度 参数 )， 以 及 二 项 分 布 族 、 
Poisson 分 布 族 ( 估 计 均 值 ) 等 等 ， 这 样 ,是 否 在 所 有 分 布 族 中 未 知 
参数 的 MLE dn EBENE 并 非 如 此 ， REFA: 

Bi 3.1 &a- y Ix). ^L) (4—1,2, ---), Ti 
且 互 相 独 立 ， 此 处 -<mo (6-1, 2, …)， 此 时 不 难 求 得 
o? 的 无 偏 估计 为 





=Y), 
它 是 强 相合 的 ， 而 os 的 极 大 似 然 估计 是 
ôl u=% (%4 — y)”, 
因为 P| 63.x -> $-]-i, 可 见 它 不 强 收 但 于 o?，6%.x 不 具有 强 


相合 性 的 原因 ,在 于 无 用 参数 过 多 .关于 这 类 MLE 的 讨论 , 可 参 
阅 Kiefer, Wolfowitz BJ T.1E [11], 


例 3.2 WX, X, Hiid, EDLER. Xi RUP S A 


布 ~- 
E = 0, Er 0 RAMA: 
Elas 若 0 是 无 理 数 ， CISY 
6 i MLE 3j 6,-L3 3s. 


d ik 当 9 为 有 理 数 ; 
1—0, M 0 为 无 理 数 . 

这 说 明 6 的 MLEÓ, 不 是 相合 估计 ， 其 原因 在 于 概率 函数 对 0 没 
有 连续 人 性. 





S4 极 大 似 然 估计 的 最 优 浙 近 正 态 性 


现在 我 们 来 研究 MLE 的 最 优 渐 近 正 态 性 (了 B. A. N) PE, 这 
个 问题 一 直 为 一 些 有 名 的 数理 统计 学 者 研究 着 ， 例 如 Fisher??, 
Dugu6 “，Huber 等， 关于 这 方面 的 结果 , 许多 数理 统计 书 中 都 
有 所 叙述 ， 在 这 里 我 们 分 单 参数 与 多 参数 两 种 情况 来 讨论 :在 讨 
论 单 参数 情况 时 ,我 们 采用 了 Daniesag 的 非 正规 条 件 ， 在 下 面 两 
节 中 我 们 进一步 讨论 Bahadur,Cramér 渐 近 有 效 性 时 ,还 要 用 到 
它 .在 讨论 多 参数 情况 时 , 我 们 仍然 采用 一 般 教科 书 中 所 使 用 的 
正规 条 件 , 其 证 明 较 为 简单 . 如 果 读 者 对 非 正规 条 件 下 的 结果 有 
兴趣 , 可 以 参考 [3]， 

一 、 单 参数 情况 

设 Xn Xa, 0, 为 id, 随机 序列 ， 具 有 分 布防 数 Feo), 

OCO, O 是 实数 轴 上 非 退 化 的 开 区 间 , H dF (8) —f (v, Odu, 其 


H u HERRICK, Be) b o—H RWE. g( 四 是 8 上 具有 连续 
导数 的 实 函 数 , 记 Gg(8), 为 g 的 值 域 . 
1(8) = logf (s, 6) | 

为 分 布 族 VF. 的 Fisher 信息 函数 . 

假设 1°) 当 0:70,(CO) RI, pis: fv, O17 f (v, 02)}>0. 
分 布 族 有 共同 文 撑 ， 不 失 一 般 性 , 可 假设 对 所 有 的 E22, 0E@， 
f (s, 8) —0, 

2 )” id Z (a, 8) =- log f(e, 6), 对 每 一 个 e€A 存在 ， 

有 限 ,而 且 是 9 的 连续 非 增 函 数 , 有 变 号 .对 每 个 0,1{w: Z (w,0) A 
0}>0, 

3 ) 对 每 个 boE@@ FE bo P8 —^- 43 V oO 及 两 个 函数 

”此 条 件 可 减弱 为 a.s.4 成 立 。 





f, 9) n — M) i - 
Fle, Goy a) 1 « A(n, Do) |o 8! (3 OEV ad; (4.1) 


IZ (e, 8) | &B(e, 6o) Qu8€cVs), (4.2) 
mB. EQ(ACX, 09)1 oo, E,(B*(X, 09) «oco, 
Lo A(X, 09) P (X, 05) «oo, 

4*) 4 a,b ES O 的 左右 端点 ,假设 lim gO) (a. b 可 
以 是 —oo, oo), 

定理 4.1 车 上 述 假设 条 件 1*3? 成 立 , 则 0 f] MLEÓ, (os, 
…， 5,)J& B. A.N dli. 

在 证 明 此 定理 之 前 先 证 明 一 条 引 理 ,下 面 用 到 的 运算 记号 
PP 五 都 是 指 在 真人 参数 值 0。 下 的 概率 、 期 望 ,为 行文 简便 ,我 们 把 记 
E Pa Ee 中 的 下 标 0o KE. 

3]384.1 若 上 面 的 假设 条 件 123? RE, 则 有 


i E(Z(X, 09)) 一 0; (4.3) 
i) I(0,)—0, bo 在 @ 上 变动 时 , (09) 连续 ; 

ii) EZ(X, 8) — —1(09) (06 —09) À-o(10 —8o]); (4.4) 

àv) EZ?(X, 0) —I(09) (123-0(0)); (4.5) 





Y) IO, Bo) & E, log £2, 5. I (00) (0 —65)* Q0 2). 
(4.6) 


Hp iov E V.20— 69 Tis. 

证 ”由 假设 条 件 2? 知 7(bo) >0; 又 由 假设 条 件 3^, Zæ, 0) 
« B? (z, 09), 而 且 EB? (v, 04) «oo; 再 由 假设 2^, Zw, 0) 关于 
9 连续 .因此 , 由 控制 收敛 定理 , 得 

limEZ^(X, 9) =E lim Z*(X, 0) - EZ*(X, 069) =I (6o). 


从 而 iv) 得 证 ， 至 于 其 余 结论 均 是 第 五 章 § 1 引 理 1.1 的 特殊 情 
况 ,在 此 不 再 次 述 ， 引 理 证 毕 . 

定理 的 证 明 JE o= (D, e, m, 根据 所 为 9 的 MLE 的 含 
义 ,由 假设 2^, Z (o, 9) 为 9 的 非 增 函 数 , 故 有 








^ 


le. S Z (æn 0) c0] (6,0 ede $ Zen 6) «0. 
i=] -= 


(4.7) 
因而 


PI ZX, 0) «0 P (0,0 «s r(3 ZX, 9) «0), 
iz - 


对 任意 的 i 选择 0, CO, 使 得 wy Oo) (0 一 go) =t. 因为 了 Oo) 
70, 0 EFKE, MAH n ZIRK, On 是 存在 的 , Ii EL34 n — oo 
时 ，b 一 90。 由 引 理 4.1, 
EZ(X,, 06,) = — (0,— 00)1(00) (12-0(1)); 
VarZ(X,, 0,) = EZ2(X4, 06) - LEZ(X , 06,)]? 
=I (8o) (L--o(1)). 


ELZ (X; ON) vn 3 
P (2 ZX, 8) <0) 


= P | < Z (Xs, B) — EZ(Xi;, 0.) 
fi Nn Vari (X: 6,)] 


< VAIO (9, — 69) +C). (4.3) 
利用 中 心 极 限定 理 及 t 的 定义 , 便 有 
lim P (Èz, 6,)«0 )- 9. (4.9) - 


BUR 


同 理 可 证 
lim PA ZCX,, 6.) c0 ) =Ò, (4.10) 


n= co i-i 


-一 


Ll qt us 
此 处 BO 一 =| 673 du, 
利用 《4.7)、(4.9)、(4.10), 扒 得 
lim P(0,—6,) = lim Pin n (0,—09) <N n (0,—09)) 


-limP (vn (8, — DESI CCS Tos) =P(t), 


(4.11) 


» dO4 o> 





换言之 ， dim P (4 w(Q,-09) <t) —4(A1(1). 
因此 , 0, 是 9 的 BAN 估计 ， 定理 4.1 证 完 . 

读者 不 难 验 证 一 些 常见 的 分 布 族 , 例如 正 态 分 布 族 .二 项 分 布 
族 、Poisson 分 布 族 等 此 满 足 定理 的 条 件 . 但 是 Cauchy 分 布 族 
不 满足 ,因为 Z(w, ORE 0 的 非 增 函 数 . 

定理 4.2 在 假设 1°~4° 的 条 件 下 , gO R MLE 9, (om, …， 
v.) 为 BAN 估计， 也 即 Vn(9, 一 g(00)) 的 极限 分 布 为 入 C0， 
(g (69))?/I(89)). 

证 因为 6 是 开 区 间 , g (8) XE S, lim g (8) 存在 ， 故 当 
0, cO 时 , $,—9 (0), 

gn— 9 (89) = (8, — 85) (g (09) + m). (4.12) 

BE AÈ m=0 (1) (n— 9c), 由 定理 4.1 50, Vn (9, 一 g (09)) 与 
Vn (8,— 69) g' (9o) 具 有 同一 极限 分 布 ,并 且 n. g' (8o) (Os — 90) 
的 极限 分 布 为 入 (0，- 人 (52 一)， 从 而 定理 得 证 ， 


二 、 多 参数 情况 

下 面 讨论 在 多 参数 的 情况 下 MLE 的 BAN HR. Sr fo f 
B Xa Xa o, Hiid, PIUS, RAIAR Fe), OEO, 
而 .6 是 p 维 欧 氏 空间 的 开 区 域 ， 对 每 一 个 9E@, 有 dP) = 
S, Ddu, Hh CP, Zo 上 的 0o- 有 限 测度 ，g(0) 是 @ 上 的 
具有 连续 偏 导数 的 下 维 向 量 函 数 ，G 一 9(B) 为 其 值 域 ，Fisher 信 
息 阵 了 (9) — E( o tog f Go, 0) (D 1og f Co, 0) 存在 且 有 限 . 

假设 1°) fs, 0-0, XM BER 2€ 2, OEO, Huia f Go, 0) 
* fv, 03) 4 0 015:04( CO). 

27) 记 Z(w, 6) - 2082.9). x p ag ertet ERR, 
并 有 一 阶 连 续 偏 导数 ，7(g) 正定， 

87) 对 每 个 poEB@， FERE Go KIBIR Va DLE A o, bo) 0, 
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B (m, ĝo) >0, H (s, 0c) 70, 使 
| afls, 0) . L8 f(s, 0) 
Q0 «A(s, 0o) ? | 90,00, | <B (m, 05) 3 


| 





(4, J T p); 


(He e. - 25 097) «H (a, 69))n(8o —0). 


z 
H |A(, 6)du«co, | Be, 6) d < co, BaH (X, 69) «eo, 
lim 78o, 0) —0. 

4") 3 R O 的 边界 点 时 ，lim g(9) 存 在 . 

- 4.8. 假设 条 件 17 8? 成立, 如 果 9 的 估计 Ân 使 得 
=; > SS (ncs): 
WA A Lol n Ôn 0o))—> NCO, I= (bo))， 对 每 一 个 goE@ 成 
sr, 也 即 包 为 的 BAN 估计 . 


证 ”由 假设 条 件 , 8o FERRY o 使 在 此 邻 域 内 可 进行 
Taylor 展开 


TIF, 6) - 3 ZG, 0o) +$ 2E Cs P0 (8, — 8.) 
FÈR, Ôn 00) 0, 02. (4.18) 
这 里 R(X, ôn 0) Æ P xP HEP, J& Taylor 展开 式 的 余 项 部 分 . 
由 假设 条 件 3^, RRES (o, DEE Ra(X,, Ôn 09) 有 | Ra (2s, Ôn, 
69) | «H (m, b)n (1, =, m E I=, =, p), Ti EL 34 0, > bo 


B,n—90, B X EH (Xu 6, «o, 并 注意 Xa, o, XN 
did, 故 利用 大 数 法 则 知 


SHX, 899—350 «(n 2), 


因此 有 
l$ R(X,, Ôn, 09) | — 0 人 -> co), (4.14) 
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再 利用 假设 条 件 3^, 根据 控制 收敛 定理 , 易 知 
En (X, bo) = |LED] Fle, bda 


- fre. 8)dj.—0; (4.185) 
P(O, -JELE fe, oon 


-| Prin e 0 [Zio 09) Z; (2, 8o) f (æ, 0o) di» 


-0- |Z., bo) Z;(«, 6) f (e, Oo dy. 
此 处 Z (s, 8) = (Zio, 9), d" Z£, 0))', 0 — (01, "t5 05). 从 
而 得 
0Z ( X,, 0) 
ES OU ) = =O). 

由 此 , AAAA NA, 24 n — oo 时 ,有 

1 &/ eZ(Xi;, 0) P 

1S (2A, D) 10). (4.10) 
于 是 由 (4.13)、(4.14) (4. D 
Vn (B, — bo) St 一 了 一 (8) —. -3 ZX, 9o) 





d ped Mas Z(X,, 0.) --o, (1) 
一 m | $l 


e —[11 Bo) 





7- xZG. 8) --o, (1). (4.17) 
Hi (4.17), VarZ(X, 9) 一 1(0) 及 中 心 极 限定 理 ,得 
SO n (0,—89))— N (0, IOD (Chn), (4.18) 


lim afv n (g(8,) —g(89))) 


-ua VERE), eoe) ^ «us 
因此 , (OR MLE, 是 B. A. N, 估计 . 

514.1. 在 例 2.1 中 关于 多 维 正 态 分 布 函 数 5(B) 的 MLE 
就 是 B. A. N. 估计 . 
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era err riim mar turri jaguar ille tup a pe — PRA AP AA PI 





Wolfowitz 首先 在 1963[151 中 , 在 更 广泛 的 渐 近 有 效 性 的 定 
义 下 考虑 了 MLE 的 渐 近 有 效 性 ， 他 把 估计 类 限制 为 一 致 相合 估 
计 类 ， 经 标准 化 之 后 极限 分 布 为 GCw, 0) (不 一 定 是 正 态 分 布 ). 
这 种 渐 近 有 效 是 基于 极限 分 布 覆盖 真 值 的 概率 大 小 ，Wolfowitz 
证 明了 ， 不 仅 是 在 渐 近 正 态 的 一 致 相合 估计 类 中 ， 就 是 在 更 广 

泛 一 致 相合 估计 类 中 , MLE 也 是 渐 近 有 效 的 ， 随 后 Weiss 和 
Wolfowitz 作 了 推广 ， 并 发 展 为 最 大 概率 估计 ， 读者 可 参考 文献 
[16]. 

_ Rao 进一步 研究 了 渐 近 有 效 估计 的 第 二 阶 性 质 ， 著 UD 
是 -~ 0 的 渐 近 有 效 估计 , 且 存 在 常量 w(6) (0), 使 得 
D BAG, 0) -«(8) - A2 BO 0) —>0 (n>), 

| (4.20) 
Ti Rao JH] (I, — 6) B] — Wr Z Xi st; / n a(0) -n8(8) (T, — 6) + 
nw(9) (T, —8)* 3383, a(0)、B(0) 象 (4.20) 式 那样 选择 ; Mi rO) 


则 选择 头 i2: Z(X,,0)— VR a(0) —nB(O) CT, —6) -nr (B) (Ta — 
8)? Probo rae. 此 极 小 渐 近 方差 称 为 第 二 阶 渐 近 有 效 指标 . 


一 个 估计 如 果 达 到 此 指标 ， 则 称 为 第 二 阶 渐 近 有 歼 估计 .Rao 
iii) 还 比较 了 多 项 分 布 各 种 渐 近 有 效 佑 计 的 第 二 阶 效率 ， 最 近日 
本 学 者 “还 在 他 们 规定 的 意义 下 研究 了 第 三 阶 渐 近 有 效 估计 。 


$ 5*” 极 大 似 然 佑 计 的 Bahadur 渐 近 有 效 性 


在 这 一 节 中 讨论 极 大 似 然 估计 的 Bahadur 渐 近 有 效 性 .在 上 一 章 中 已 
经 给 出 了 这 种 渐 近 有 效 性 的 定义 及 其 合 义 ， 它 最 早 是 由 Bahadur” 所 提出 
的 , 后 来 又 有 一 些 作 者 进行 了 研究 .例如 文献 L5], [19], [20] 等 在 这 里 我 
们 直接 讨论 多 参数 情况 .同上 章 一 样 , 我 们 把 具有 Bahadur 渐 近 有 效 竹 的 估 
计 简 记 为 BAR (Air. | 

B Xo Xo … 为 从 样本 空间 (2 B.) LARIH dd. 随机 变量 序列 , 分布 
AR Fe), OCO, O Rp 维 空间 中 的 开 区 域 。 Fekz) 关于 (05 49 上 的 
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-ARNE nA RE FE) 一 f(z, Ode. D Ôn 8. 表示 9、9(6) 的 基于 
zi s za 的 极 大 似 然 估计 。 我 们 研究 的 问题 是 ， 在 什么 条 件 下 ， 它 们 具有 
BAE 性 质 ， 所 谓 fa RA BAE EMER: 对 每 个 geE@ 有 


l log P。(jg(9) — fni 5) 


ne? 





lim inf lim inf 
如 人 n00 


= DUDVISBSDUBT- (5.1) 
2 [(D(95))'1 1 (69) D(9o) | 





此 处 gu) 是 Fisher f B, DG) = (GL) ，， 它 为 PX 矩阵， 假定 


g (6) X RUE BH SR e Hs REUS, de 9(9) =9 时 ， 就 得 到 如 的 BAE 

在 这 里 我 们 只 讨论 这 种 比较 狭义 的 BA 了 性质， 它 多 适用 于 有 共同 支撑 

的 分 布 族 参数 的 Vn -1 级 相合 估计 .对 于 非 共 同 支撑 及 其 它 级 相合 估计 的 
Bahadur 渐 近 有 效 性 ,在 [20] 中 有 所 讨论 , 有 兴趣 的 读者 可 以 参阅 . 

”定理 5.1 假设 8 4 中 关于 多 参数 情况 的 假设 1?~~ 和 uy. 并 进一步 
假设 对 每 个 poE@, 存在 S> 0, 使 得 当 0<t<5 i A FRR, 





BE, eg! 0 0 < oo; (5.2) 
E, e'! (152) | ee, «oo; (5.3) 
E, e EK oo. (5.4) 


in 0 的 MLE6, 满足 条 件 :对 任意 的 9>0, 存在 (09) 7 0, 0(60) 0, 使 得 
P, (| 0, — 69] >G) <b(00)e "om. 
则 9y(9) 的 极 大 似 然 估 计 9. 具有 .BA 了 性质. 
在 证 明 本 定理 之 前 , 先 证 明 一 条 引 理 : 
3185.1 设 给 定 6>0, 则 对 每 个 0<X<1, HEARD ELER, 
l]-1 =l, =, M), 使 得 % 维 向 量 了 有 如 下 关系 : 
Qy:ppec Ü (Y: LY | A619, 
其 中 M fn, n lm 只 依赖 于 ^, fg e 无 关 . 
证 ij$$,—1Y.[Y| 2e YER}, x 8r (c R^, [1] —1, id 
Di -—iY. Ww Y] >As, IX) = £, YcR^. 
D: & | Yl ^e 球面 上 的 开 集 ，S。 DARADE, 而 且 显然 对 每 个 点 YES。 di 
fcx, 例如 取 != 了 /sg, 使 了 了 ED， 于 是 利用 Heine-Borel 定理 ， 知 必 存 在 


有 限 个 4 s MER, S.C L) Di, VERS lo os 于 的 选择 虽然 依赖 于 
9 符号 | .| RERET | EAR JS PEPERHD AE CIAGR. 
. 309 。 








入 和 8, 但 因为 对 某 一 - s>0 选择 的 lis .**3 ly, 对 其 它 8410 也 适合 ， 故 实际 
Ely ee lu 仅 依赖 于 入 ， 于 是 有 | 


(sip) - U AIc (DS) 


M M 
一 LJ Dhc U iY:|A4Y|226]. 
i= t= 


其 中 利用 了 显然 的 关系 式 DCD, ( 当 8<81 时 )， 引 理 证 毕 , 
定理 的 证 明 ”分 三 步 进行 : 第 一 步 证 当 g(0) 是 0 的 线性 实 函 数 时 定理 
成 立 ; 第 二 步 证 当 yg(60) =9 时 定理 成 立 ， 最 后 证 定理 成 立 . 
第 一 步 : 设 g(0)—d'0, d4-0( R9), HAA 6,€G, 我 们 选择 适当 小 
的 970, 使 下 式 成 立 ， 
(0:16—6,] «q) ce, (5.5) 


0 一 Z (Ei Ên) = 3 Z (25, Oo) 


AP Ee 90. 3 RG 6,, Oo) |@,.-0%. (5.6) 
这 样 的 g 显然 是 存在 的 , 因为 @ 是 开 区 域 , (5.5) 式 不 难 成 立 ， 又 因为 名 是 
9 的 MLE, 3 6, cO m, 就 有 加 (zw 6)=0， 再 利用 Taylor 展 开 即 得 
(5.6) 式 ， 此 处 Rao Ôn 90) (6, 一 90) Æ Z lao BAHR. RME 
25 人 Veg. O RERE CT BUE" UR 88, En RE Gs 0), 使 
得 | 
| RGzo, Ôn 09) | <H (m, 00) nO,, 00). (5.7) 
而 且 Eo H (Eo Qo) < oo (i=l, 3 n). um n(Ó,, 85) 0, 


这 时 (5.6) 式 可 改写 为 
-1 $ Zæ o) -[ 109 «1$ (2269.99... 16, )) 


+ 二 2 BG. În 09) 1, - 6) {~ 165) 十 W, (6,— 0o). (5.8) 


此 处 Wan -L[3(f mne el IOMAG. Ôn 09. 


qu ene enl ME Ia en WRR. A 
(5.8) 式 有 ; 4 | W,1 <a, 16 一 9 <q 时 ， 


În — 0o = (1(89) — Wn) al > Z (24, 69) (5.9) 
成 立 ， 利 用 此 式 ,我们 来 估算 Pelig Onel >e), 
e. 310 e 
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, EE 
^ t ` i 





P, (lg(6,—00)|>a)<Po gnl >e, | Wl <a 
10, —0,| <D Pe (Wal za, 10,—69] <0) +Po C0,— 091 24). 
(5.10) 
现在 分 别 对 (5.10) 式 右 端 的 三 项 进行 估算 .根据 假设 条 件 ， 存 在 a(00) >0、 
5(6o) > 0， 使 下 式 成 立 : 
Pe C[9,—6,5| -g)«b(9)ec9 om. — G.1D 
进一步 缩小 4，(5.5) 与 (5.9) f SZ, HARY 10, — 09] a 时 ,有 








? Tx TY .12 
7 (O5, Qo) 2E HG, 00) +1)° (5 ) 
而 由 W 的 定义 ,有 | 
Pado Iscr i (e)re | 3] 
js : 
+Put x RD EE. On 00) [> 10 -0 <a}, (5.13) 








出 上 节 定 理 4.3 的 证 明 过 程 知 


ac ODN 
B, (2262.59). — (oy, 


再 利用 Chernoff 定理 《第 五 章 中 的 定理 1. 和 多 & (5.3), dE E Opi (0 <1 
j=l, …， 2)， 使 得 


P.L 3C). [223 


n j=] 
i ef OZ nT, 22) a 
< X, Po, | n e ( 90, 6-6, 00 x 


«2 2: Pki Ca) < 2p'max pf, (a) &2p?p?, (5.14) 此 处 0<pt<1. (5.14) 
由 (5. 和 、(5.7)、(5.12) 式 ,用 Cherno 站 定理 ,存在 0<pa(a) <1, 使 
P, - $) BG Ôn 6) | 5. 16,6. <a} 


1-2 ^ C A 
«P, 33 HG 6n, 6) 16,6: <a} 

















SPa {= $3 Hs, 6)» EH, 6)-1]«pKa). (5.15) 


因此 由 (5.13) 人 (5.15), 便 有 | 
Po {Wal za, 10,—6,| 9] < Qp?--1)pXo), (5.16) 
此 处 , 0x ps (a) —maxipi(a), ps(a)) «1, 'E 5S e 无 关 . 
现在 来 估算 (5.10) d ag EA: (1(09) — W,)71-—11(99) -W,. A 
为 当 a 一 0 时, Wa 0, 5X W.— 0， 因 而 可 设 
L9. «Be Coa), 


.«811* 





R lim Ba, (a) =0, 
根据 (5.9) 式 ， 


gO 6) =9(1-1(00) 1 $ Zian b ) 
+g(W, È $ Zu, 0) ). (5.17) 
E | W,| <a, 18, — 6,| <q 时 ,有 
(m. ES ze, 的 | «latim. 








L$ za 6) 
N i-i 
«p|d|&, Co) | ZG, 69) |. 


现在 选任 一 个 入 >1, 对 任意 的 6>0, 由 (5.17) 式 及 上 式 , 则 有 
Po {lg6,—00)|>s, | W4| «a, |, — 2o] <q} 
< i-i e} 


«P, 190,691», (0E SZE 0) A 
(r3 za 0) 


e; | Wal xa, 18, — 6,| <a} 











tP | 


A-1 
À 


<P,, 1 





> 








(TOD ERZE, 85)» 3] 

i3 De _ 18 
tP AZE 09 [dieta de 
注意 Eo Z (Xe 89) z0, ES, CX, 0053 CZ(X,, ODY =I) —0, g(0) —d'0, 
* 


E, [947109 E RZE, 65] =I (6) $) Es Z (X, 69) =0; 








Varo {9 (7-1(00) 2-3 ZG, 62 )] - ara. 
根据 假设 条 件 (5.2), Chernoft TERIAREN 3) CE —R $ 1), A 
Ps, l g(17 69 i 2 Z(X, 8o) ) 2 


X 
« min ( Me, (i)e) + min M, (Dex 
t d 








87/A? e? 
«2e Wi Fo(-) £ 2p, e, À). (5.19) 
其 中 M, = Bei g ITee) ) 
同样 , 因为 Eo, CZ. (X4, 00))=0, Do, Zr (Xs, 06) = Lnr (0o) Æ IOo) 的 
E ki k NR) (k=l, is p;i—l, e, n), 有 


.e812* 


nm-——————— — —Ó——————Ó———— «A mein € 





(入 一 二 8 } 
A|alp’Bo, (a) 


=P, [| S20, 6p | alale (a) De] 


Pl SZ Xe 8) > 


* 














1 2 S (和 一 工 )8 
< $ p [E alaipe, a] $ za 00 |> D8) 
«adu dg Cp 
k=l 
223 pua Q0, e, a). (5.20) 
其 中 又 利用 了 母 函 数 性 质 : 
* ( Aldi gto, cm ) 3 £,CX,,06,)5 KA Det } 


min E, , 1e? 


-nae +o (XAc Der 
=e Wy Ma Dy Ke Geer E. (5.22) 


注意 (5.19) 右 边 的 Pan, £, À) 与 a 无关 ;而 《5.20) 右 边 Parr (n, 8; a) Xp (KO 
T a, 但 因为 a> 0 时 , Bo (0) 0， 因此 可 以 进一步 缩小 w 同时 再 缩小 d 
使 (5.12) 式 成 立 , 并 使 


~ (A—1)? -1 " 
teen Dh, TIAl pRB) ^ XUI (Rd: (po 


因此 ,这 时 有 Pirr (n, £, a) «pn, 8, A) (eui, Ten p). 再 注意 , 当 £0 
Ef. (Cn, £, A) 1, SE 2 适当 小 时 ， 有 pa) p (n, e, À), e Con < 
. pun, €, à). RA (5.10), (5.11), (5.16), (5.19) (5.20), 有 
P, (19(8,— 605) | 8) 

« (b(05) --2p? - 1--2--2p) p4 (n, 8, À) 














= (b(00) --2p?--3--2p)e WOT C) (5.24) 
因此 有 
lim sup lim sup -5 log P, (19g(9,— 0, | >8) 去 一 JET 
(5.25) 
注意 : 上 式 左 边 与 和 无 关 , 令 和 Vy1, 就 有 
1 
^ CEPI: 
(5.26) 
这 样 就 完成 了 第 一 步 的 证 明 . 
第 二 步 : 证 明 当 TEE e 利用 引 理 5.1, 4 0<41<1 fF, 


FE LGK, 上 l=1 GG=1,…, M), 使 得 对 任意 的 8>>0, 有 . 
l 。 13 。 








{6,.16,.—0ol>8} E U 1n: 1 (hs — 00) | 9 A716), 


P, (16, - 6 oe P. [ C] 1-09 1970 } 
<p max P&tlh (Q,, — 09) | 24716). (5.27) 
根据 定理 第 一 步 证 明 的 结果 , 有 | 
lim sup lim sup E log P, (18, — 0o] >E} 





nE? 
< 一 1 LLL | 
2max A31 (09)l, * (5.28) 
1«4«M 
再 根据 Ol 的 定义 ,得 
max /I-1(09)l,« max i171(05)1 — |271(89) 1. (5.29) 
i«4«M li [7-1 


注意 到 NG=1 e, 用 ) 与 8 无关 ,而 (5.28) 式 的 左 端 与 和 无关, 也 与 (i=1， 
x. M)JCX. 故 
him sup lim sup (5.30) 


1 1 
ni log Po (lên — 0o 2 « 5 rci 


第 三 步 ， 先 证 定理 对 任意 满足 假设 条 件 的 实 函 数 O 成 立 ， 因为 对 每 
个 geE@, 存在 适当 小 的 g> 0, 使 得 {0:19 一 9%| <9} E9, 
g0) -g 00) - (2299... nc, 00) ) (6-69. 





此 处 lim R(9, 6) 0, pF ing 2289. 
6-9, O05 
进一步 缩小 g, 使 对 某 个 ^>>1, 有 


R(O, 0 A—1)(g)'I i160)g ， 
Uoc esee 


Po {1g(6,) —g(0) 126) 
«P, {| G (8,— 09 + Rn 069) 0, — 069 | 6, 185—609] «qt 
+P. (18, —0.1 > 外 
«P, [1G 0,7051» 5, ROn 001 273 e} 


A—1 
A 


故 





P, [102,0 ,- 601» 3. e, lA, - 6.1 <a } 
+Po {|6,—0o| >} 
‘N/A € Â A—1 E 
«P, [16 ,- 0012 Ee Po{ 1,761 523 2] 
* PA llÓ, - 0.1 >g}. (5.31) 
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由 第 一 步 的 (5.24) 式 及 第 二 步 的 (5.27) 式 就 有 
Pa{1 OO- >El Geo) 2p! -3--2p)e Ti or Y GD, 
P, 1 16. 一 6 中 <pe arm 
«pe suopte 
再 由 假设 条 件 知 : 
Po {lÂn— 0| 2a) <b(00)e "em 
<b riem O 《〈 当 8 充分 小 时 )。 
因此 由 (5.31) 及 以 上 各 式 , 有 
Po, 119,—9(00 | - e) =Po (190.5 —9(01 2-2) 
< (20(00) +2p’ + 3p--3)e 73i og "s 
其 中 所 为 9(9) 的 MLE, Bi MLE 的 不 变性 , 所 以 有 dag (02). 对 上 式 两 边 
取 log, 除 以 282， 然 后 令 0 一 o, e>0, 再 令 入 1， 从 而 可 得 


7 log Pa 18959) | > 9) 





lim sup lim sup 
e€2Q ^9 
1 
———— (GEOR (5.32) 
2(g)'1-1(6,) (9) f 


当 gO HEFTAR k iE (<p) 向 量 函数 时 , 则 同 从 第 一 步 到 第 二 步 
的 证 明 办 法 完全 相似 , 可 以 证 明 , HF gO MLE gn 有 


lim sup lim sup : x log P&Clgs—9(0o) | 8) 
£0 ne Ne " 





TOP (5.33) 


1 
2[CD(6))'1-09)) D(9) |" 
至 此 定理 证 完 . 


$6 极 大 似 然 估计 的 Cramér 渐 近 有 效 性 


自从 Cramér 在 他 的 名 著 aa 中 提出 了 参数 估计 的 《Cramé7) 
新 近 有 效 性 以 来 ，MLE 是 否 具有 Oramér 渐 近 有 效 性 的 问题 ， 一 
般 数 理 统计 书 中 都 不 大 涉及 ， 似 乎 有 了 BAN 性 质 , Cramér 渐 近 
有 效 性 质 是 自然 结论 , 其 实 这 是 一 种 误解 . 首先 我 们 举 出 一 个 常见 
的 例子 来 说 明 这 个 问题 ， 如 果 样 本 空间 (多 ， 有 So) 上 具有 正 态 分 布 
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ik N (u, o”)， 在 实际 应 用 中 常 磁 到 要 估计 变异 系数 三 (p 0), 
如 果 X. Xa 是 从 如 上 母体 由 抽 得 的 iid. 随机 序列 ， 3 A Z 
的 MI 为 2-977, gab zo 3m, SeS aa 由 于 


(V S" /n )/z 在 : 2 一 0 时 是 奇 点 ,显然 它 的 均值 及 方 关 都 不 存在 ， 
当然 更 谈 不 上 有 Oramér 渐 近 有 效 性 的 问题 . 但 是 不 难 从 有 4 中 
定理 4.4 推出 它 具 有 BAN TER. 对 于 非 MLE Cramér 渐 近 有 
效 性 的 讨论 还 有 Sidney 和 和 Stone[21] 比较 好 的 结果 ， 这 里 就 不 
细 论 及 了 . 

本 节 仅 着 重 讨论 单 参数 分 布 族 的 MLE Cramér 渐 近 有 效 性 
问题 . 设 Xi Xs, 为 iid, 随机 序列 ， 服从 分 布 Fol), 0EO, 
6 是 实 轴 上 的 一 个 开 区 间 ， 且 具有 关于 oc- 有 限 测度 及 的 概率 密度 
Jo 8) 一 Ce)VdU， EE 

9386.1 # X. Xa o 为 iid. 实 随机 变量 序列 , EX1-—0, 
EXi=0*<o0, E|X;|"—oo, ho 之 3， 则 对 所 有 v, A 


IP( (Xe xe) — P(w) | 
,ElXxi | 
ui Lr s ) (6.1) 
此 处 X- 3 x, o-oE|X.|*, OG) 是 依赖 于 zc 加 的 党 
数 ; D (2) 是 标准 正 态 分 布 函 数 ， 
由 于 此 引 理 的 证 明 过 于 繁琐 宛 长 , 因此 在 此 证 明 从 略 ,读者 可 
参看 Petroy 的 著作 Ba， 但 要 指出 , 此 引 理 的 结论 是 很 重要 的 . 
Io Z6) = lg fo, 0), 
| Z (æ, 0) Zw, 0) — EZ (v, 0) 
LO, 6) - EA4Z(X, 0)/(DA4Z(X, 6))5, 
2.5 pi, 8) = GI ZX, 0) |) /DAZ QX, DP, 
“定理 6.1 如 果 本 章 $4 定 理 4.1 的 假设 条 件 成 立 ,并 进一步 
ii. 








(1) FER E23 R1 £,70, n >o, 对 所 有 的 goEB, 使 
得 
L E,|Z(X, 8) |*—co, 对 所 有 的 OE@ 成 立 ) 
”多 对 某 一 个 83>0, 存在 AQ0, D—0, 使 得 


inf |8—64|-^|L(6,6)|24s ^ (6.3) 
Vt a 
p; (8, fo) 7) Tem | 
Pind ;ULG (pm 5 sem XUeS Pe o0) 
8: min £, (b — si?) 27-0, | "wie (6.4) 
j=3,k r S 


或 者 (2) 若 有 加 >0 及 w>0, 对 所 有 的 goE@B, 存在 适当 的 3>0 
K B:>0, 使 得 当 8S0, Otto R 0x09, —io- iO hF, 


M, (1) 会 Bo et 9. co. | ( 6. 5) 
而 且 存 在 适当 大 的 m, 使 得 -> H 
ED. don M E (6.6) 


E(D. (2 两 组 条 件 之 一 成 立时 ， 则 9 的 MLE X OAE i 
证 首先 对 (DD) 组 条 件 来 证 ; 令 


e 20 
Hn) 四 十 W LO, 0 1)* 


x(- 元 pdb, 00) +n E pr(O, 00) ) 
Gn, o, (0) & Po, (V n |Â — 69 2); 6.7 
s= n |8—6». ? 
因为 入 .是 9 的 MLBE UR Z (v, 0) 0 的 单调 非 增 函 数 , 故 


les. ts Tp): > Z (a, 0) «oc t, e, DR) ^ 6,6) 





ela, uo SZ, 8) <0} (6.8) 
根据 引 理 6.1, 4 bo 士 |9 一 go| cO 时 ， 


"817^ 








1G。o(z) — BV n L(8s4- |0 — 86], 0o)) 
-ó(—AnL(8— |0—65|, 09))] 
« Hs (0o-- |0—09|) 4- Hox (8o— 190—091). 
由 于 Zæ, 0) 是 9 的 非 增 函数 ,由 引 理 4.1, ESZCX , 09) —0, 
I (09) ^0, iX 
«0, 34 0709 ! 
BZ, REA (6.9) 
当 8>bo 时 , L(0,0,) <0; 34 0-0, Rt, LO, 80) >0. (6.10) 
下 面 分 两 种 情况 来 分 析 ， 先 考虑 10 一 bo| >8 的 情况 : 由 CD) 
组 的 假设 2”, 4 19 一 0。| 25 时 , 就 有 
L(0, 00) >4:]9— bol", 当 0<<0o; | 
—L(0, 09) 2-.4.]|0 —09|**, | 34 877 0s, 


=1 "n 
H, s (8o 18—609|) «C M ? D? | L(0o3- 10 —6,, 8o) | 
T D?|L(fo2-10—96|, 851" / 
du EE 05) |* 


ca) | Dy 
«C -一 一 一 一 一 一 一 一 一 一 
"E. | L(8o3: |0— 0o], 99) | x» ] 


(8.11) 


D? 
HT a 
n*- FLO 18— — bol, 6o) |" | 
(3) 1 
«( O(k) Di 2 


AS ne" noie (kn !) m (一 哈 ») 


+(e CU nuuc ee (6.12) 


Ap n^ 1-36 (rn) t (km). * 
因此 
NEMO Js Ga (n) du 


12 一 81> 3 
<| 2x (一 483n 2 9,6) da 
SV 
| 1 A 1 dæ 


+ A$ ^" n 3- ÒV i niat Qe) ' g^ (m) 
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+( CW DY )1 f i 0 de 

AJH Sa Jaym pigie eP) gr) 
sa uc C()DPY 1 ? —t& (kng) 41 

o(n JE (A) ET), 2 dz 

十 (— (b) Dj. on | gt (P) +1 dă 

AU ; 
_ kl 、 

"On EA, (6.13) 


现在 来 分 析 10,— 6,1 «5 的 情况 : 由 引 理 4.1, 
L(8, 00) = — (0—0) 13 (69) +09) 
& — (0—8) b (1--o(1)). 
故 Vn L(8, bo) — 3 bz (13-0(1)). 
这 里 o(1) 是 指 voco. 因此 


br . /— 3b 
uc xb n L8, 9o) | < z, 
从 而 


ey m 
lim sup [^ 2G, a (2) dz 
«lim sup [| 220 C—bz(1--o(1)))dz 
un vh Ges 2/29 (~ 2) 
2 
?| a8 (— bz)dz 4-2 IN (-2 a) dz. (6.14) 
上 面 不 等 式 是 利用 8&=3 时 引 理 6.1 的 结论 ， 再 令 了 一 co， 即 得 
lim sup | ZG. o, (%) de«2| vo ( —bz)de = 


è 
0 








1 
3p 
— En (6.15) 
TA 
用 证 明 (6.15) 式 的 方法 同样 可 证 





ovs L 
lim int v Go, (2) dE 2| qb ( —ba)dz 
- foo 0 
$ i 


2 [wg (— bo) da EG (6.16) 
也 即 
lim a inf f 2G, o (2) dv> — s > (6.17) 
合 (6.15) 及 (6.17), 得 
lim [^ Gs. (a) de=- (6.18) 
用 分 部 积分 法 ,我 们 知道 


Hn(b,— 02-2 | (adv > I= (0), (6.19) 


至 此 证 明了 在 ( 切 组 条 件 成 立时 ,定理 为 真 . 
FEWE (D AET, EAN: 由 于 在 上 面 征明 


1 
Him [^ ano (da y7 (B 


时 ,只 利用 到 $§ 4 的 定理 4.1 的 条 件 ,而 未 涉及 (了 D 组 条 件 , 因此 结 
论 对 (2) 组 条 件 仍然 成 立 . 余下 只 要 证 明 : 在 (2) 组 条 件 下 , 也 有 


lim| 2G. e (z)dz — 0 即 可 . 


由 Ohernoff EHE (2) 组 的 假设 , 我 们 仍 记 
| ME vn |6—6,]. 
x 18—8,|z2 m8 时 ， 
Gro, (2) =Po (Vn |0,— 09| 7 v) 
«P, (SZ, 0s — 10 -661) «0) 


+Pa (DLR, Got+10—0o|)>0) 
< Gn£ Ms, uuu (0)*9- Cinf Mo, uo o (OD)® 
«2 (B410 —6,| "*)*. | (6.20) 
这 里 MS) — Eie 9. RIA HL (2) 2828 IP, 1(8) 70, Za, 0) 对 
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每 个 "是 0 的 非 增 函 数 ， 从 而 可 知 ，MNe 人 是 二 的 严 凸 函数 ， 当 
t>0 时 , 它 是 6 的 降 函 数 ; 当 #<0 时 , 它 是 0 的 升 函数 , Mo (0) —1, 
M, (0) =E 2(X, 0) 40, KETE to, 使 得 Me(io) 天 Mo(0) —1, 
Zu Ms 

当 [9—65| 25 时 ， inf MoC) «inf Mons O) <L, (6.21) 
因此 


eo mov 
| aG., o. (&)da«2| yhinf Mes] "dé. - 
号 /再 LE; t 
十 af 化 (n? By "de 
óm4/n l 


a 2 
<mn (inf Maalt) )"+2 Ios | Big d 








a : 2 mÀ —-nad 3 n, 
gn nt M (0) 2B Zr. d 
à 


—0 (n— oo) 


至 此 定理 证 毕 . 
系 6.1 如 果 §4 的 定理 4.1 的 假设 成 立 ， 则 有 
lim Fa fn(Ó, 一 bo) Ius, b ax (Xa, nes X1 


© =lim 2M oP, G0 (D, 0.) m) -I389. 
| 7 (6. 325 
而 满足 此 关系 的 9 的 估计 Ôn 称 为 弱 Cramér 有 歼 估计 . 
系 6.2 当 五 服从 单 参数 指数 族 分 布 | 
Fe du - B(0)e"du, 0cO0—6? (FAE) 
Bjjdm(0)-E,X, 如果 存 在 3>0， 及 相应 的 w>0, 使 
sup, [90o] BBE) < Bs<o0, (6.28) 


qm 8 ny MLE BA Cramér 渐 近 有 效 性 . 

证 容易 验证 对 指数 族 分 布 在 9€68" 时 ， 定 理 4.1 的 假设 条 
件 得 到 满足 ,这 在 上 节 已 作 了 分 析 . 下 面 主要 验证 定理 的 (2) 组 条 
FRA: l | 


»821- 





WA Zæ, 0) —-z—m(?), 

M, (t) = E. eX, 0) = Ee, ei CX -mGD ~ e-MO g (09) 871 (854-2), 
由 于 如 是 多 的 内 点 ， 故 存在 如 >0, 使 得 (bo 一 如 09-19) CO, ER 
mi tE (8o —to, bo 十 加) 时 ,有 Mt oo, 此 结果 对 一 切 pEG 
Hw. A 

inf M) en Xe-oog(go) BECO), 
因此 定理 的 (2) 组 条 件 成 立 . 定理 中 的 m6 相当 此 处 的 3S， 注 意 : 
假设 条 件 中 对 某 S>0 K Ba, (6.23) SX y sr, HU >ò X Bs, 


(6.23) 式 更 成 立 , 因此 总 可 假定 DE 


定理 6.2 如 果 定 理 4.1 的 假设 成 立 ， Ê, 是 6 的 MLE， 则 对 
0 二 <n 之 4, A | 


n? Sgn6,， HË. 
则 6 是 Oramér 渐 近 有 效 估计 . 
证 由 上 面 的 系 6.1 知 , 0, 是 弱 Oramér 渐 近 有 效 估 计 ， 也 
即 对 任意 的 0,c 6, 有 
[ea P7816 6) m) 17 (69 (n9). 
° (6.25; 
Ki 24 n EIKA, pum 
(18. [<n 到 ^12 (18,6. «5) 
E. [n (B, —09)?1 = E, (n(0,— 905)? Ip$,-6,15] 
十 E, in (8, "ta Oo) 3T, 18,--9,1:2-8] 
-| ed Pin 5, - 6) <2) + Re, (6.28) 
其 中 
|. A, In r + [6,12 P4 (18, —09| >80) 
<n(n T 2s T ]89]?? [BV n L(054-5, 0s) ) 
4 9 (— n L(85—8, 00)) 
- H, 5 (894-8) 4- Ha s (85 —8), (6.27) 





根据 定理 6.1 及 本 定理 的 假设 ， 
BoZ(X, G0+6) <0; EZ(X, 0 一 3) >0. (6.28) 
从 而 ID5(8--9, 09) «-0; L(Go 一 6, 00) 20, 又 有 


—. Berd) On’); 
0 / n (14- A n | (694-8, 89) |)? 0 (n7); 


(6.29) 
=A jal 20 (3) pa(ĝo— ò) im -2 
Has (00 8) Vn (14- A/ n |. (09 —8, bo) |j? O(n ). 
(6.80) 


众所周知 ， 对 任意 的 1>0, 4 z— oo Bj, 20(—2)0, Wik h 
(6.28) 及 此 结论 , 有 
miG(w/ 7 了 (9o 二 3 09))— 0 (34 n — oc); 
nó ( - / n L(0—8, 0) 0 QA n— co), 
再 根据 以 上 的 (6.27) — (6.31) € 0-1, 可 立即 推 得 
R,-0 (n> œ), (6.82) 
mh (6.25), (6.26) 及 (6.32), 就 证 得 
nEs (Ga — 09)*— 17 (0o) 
对 任意 00, € 0 成 立 ， 
此 定理 可 使 很 大 一 部 分 非 Cramér 渐 近 有 效 的 极 大 似 然 佑 计 
能 改进 为 Oramér 渐 近 有 效 估计 .甚至 0 的 ML 也 不 存在 , 当 由 于 
部 分 样本 点 所 引起 时 , 这 时 在 大 样本 理论 中 往往 不 起 主要 作用 . 利 
HERNA, 常 可 构造 出 Oramér 渐 近 有 效 估计 .例如 Poisson 分 
dg, 我们 要 估计 6—1logA, 在 本 章 的 8 2 中 已 经 指出 了 4 的 MLE 
KEE. AA X =0 时 , 0 在 负 无 穷 大 处 才 使 似 然 函 数 达 到 极 大 . 
但 是 令 


| (6.81) 


J, (2) -| logs, M 22.0; 
—logn, 342-0, 
不 难 证 明 此 估计 0,(%) 是 Oramér 渐 近 有 效 估计 . 
至 于 多 参数 的 情况 , 结果 少见 ,这 里 就 不 讨论 了 .有 关 多 参数 
指数 族 的 分 布 、 均 值 及 其 有 关 函 数 估计 的 Cramer 渐 近 有 效 狂 , 可 
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以 用 上 一 章 有 关 和 拖 佑 计 渐 近 性 质 的 讨论 来 加 以 证 明 . 其 体 证 明 留 
给 读者 作 习 题 . 

关于 其 它 有 关 极 大 似 然 估计 的 讨论 ， 还 有 几 个 方面 是 值得 注 
意 的 , 例如 群 观察 资料 极 大 似 然 估计 及 其 渐 近 性 质 的 讨论 ,在 
截 尾 样本 情形 下 的 极 大 似 然 估计 的 讨论 , 可 参考 文献 [26]. 


问题 与 习题 


1. S yu ny &^- N (6, ci), n~ N (0, o$) (i1, 2, =, n; j-1, 
2, =, m). Bép enu En; TH 彼此 独立 ， 试 求 ci\cz 的 MLE, 并 证 
明 其 均 方差 比 其 UMVUE 一 致 地 小 . 

在 以 下 题目 中 皆 设 所 是 抽样 大 小 , Z1, xo, on, ms 是 由 总 体 独 立 抽 样 的 
结果 ， 在 题目 中 不 再 说 明 。 

2. 试 求 总 体 服 从 极 值 分 布 (其 密度 函数 当 1-0 时 ,为 

f(x, 9) 一 ee 

当 x«O0m, f(z, 0)-—0)0 的 MLE, 

3. 若 总 体 服 从 (6, 9-19] (8E@) 的 均匀 分 布 ， 试 求 在 @= (— eo, 0). 
(0, œ) F 0 h9 MLE 与 其 ML 了 的 方差 。 并 证 明 

p opg minzcQ-p mara 

是 9 的 无 偏 估计 ,并 求 此 估计 的 方差 . 

4. 若 总 体 服从 指数 族 分 布 , 其 密度 函数 当 zz 了 6>0 时 , 为 f(z, = 
B(0)z *e**; 在 其 他 情况 , f(x, 0) —0, 试问 9 i MLE 满足 似 然 方程 


B'(0)/BC0) 一 二 Ss m9 


5. 若 总 体 服从 对 数 正 态 分 布 Uog XN 0, 07), 试 求 总 体 的 均值 、 方 
差 和 其 MLE, 并 算出 MLE 的 协 方差 阵 与 渐 近 展 式 . 

6. 若 总 体 服从 Poisson 4335 ACA), sRiüEe-^ i UM VUE s (1—— f^, 
MLE 为 6*3", PRI BEI 8 NCO, A), 

T 若 总 体 具有 密度 通 数 flz, 外 一 B(0)e r(, Ron zc B, O=, 
ræ 2105 |z 用 =1 时 ); 在 其 他 情况 , f, 9) 一 0， 试 证 明 当 % 一 1 时 , 6 的 
MLE FFE, ff n22 时 存在 . 

8. 若 总 体 具有 密度 函数 当 29 时 ， 
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fa, B, 0) = E 村 


在 其 他 情况 ， f(2;a, B, 8) =0, 其 中 a>0, 8-0, 0c RI, 在 已 知 Qa = ao 时 ， 
KO, BE] MLE, FH 8. a. hg MLE 是 强 相 合 的 . 


1 x -b 
9. 若 总 体 具有 密度 函数 f(z; a,b,0)= H024) -0(2—.)), 
其 中 b>a a>0. 求证 a.b.o 的 MLE 是 强 相 合 的 ,而 且 是 BAN 估计 . 

[提示 ， 不 妨 扩 大 f(z;a, b, o) 到 a.bE P 情况 下 讨论 .] 

m" i 1 een 

10. 若 总 体 服从 Cauchy 分 布 ,其 密度 为 让 令 cn 表示 
样本 中 的 位 数 ， 试 证 明 . 

b Ert 14; 

i) P (ot, 4-01» e» 0 DLo HRR RT ES 

iii) 9 的 MLE 具有 Bahadur 渐 近 有 效 性 . 

11. 在 题 5 中 , 试 证 明 LL (0-0), G MS MLE 是 BAN 合计, 但 不 具有 
Cramér 渐 近 有 效 性 ， 如 何 改进 它 , NLNUE BAN 估计 ， 又 具有 Cramér 渐 
近 有 效 性 , 

12. 在 题 6 b, 试 证 明 ln 入 的 ML 不 存在 ， 并 构造 nx 的 估计 ， 使 之 
既是 BAN 估计 ,又 具有 Cramér 渐 近 有 效 性 . 

13* 若 总 体 服 从 多 参数 指数 族 分 布 


dP : 
7m =f(%, 0) -—- 8(0)e* s 


其 自然 参数 域 台 是 开 集 。 试 证 明 0 的 MLE 具有 Bahadur 渐 近 有 效 性 . 
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第 七 章 [de 变 估 计 


$1 同 变 性 概论 


我 们 通过 下 面 几 个 例子 ,逐步 引进 同 变 的 概念 ,并 加 以 说 明 ， 

501.1 比较 两 个 不 同 的 处 理 ， 它 们 的 结果 分 别 服从 正 态 分 
48 N (m, °) RN (ua, 0°). 8 Ab 38 2 301 18 33] n AI Z8 HR 
2 一 (0 e, Ba)”, Y= (i, ^s, Yn)"， 要 问 两 种 处 理 是 否 有 显著 的 
差异 . 具体 说 : 给 定 4>0, 令 
| O= (Cn, us, 0?) : |ui ual <S}; 

6, —6—0,— (un, pa, 0°): | ua — ua] 77 4). 

0-— (ui, uo, 0°), VA di ERAN 6C O,(6—1, 2). 其 损失 函数 当 
GE8; 时 ,为 (0, dj) -0; 343 90€6, B, y LO, d) -D70, Br 
损失 函数 及 (e, y) 的 分 布 都 是 ua, ua 的 对 称 函 数 , 月 然 会 要 求 判 
决 函数 go，9%) 也 是 v, y 的 对 称 函 数 , Bl dle, y) —d(g, 2). 

001.9 研究 两 个 随机 变量 X. Y BydHce x83 o. fX BTE 
AU, aX +b, aY +b 之 间 的 相关 系数 和 字 、 了 之 间 的 相关 系数 相 
I. WRB (X, Y) 的 一 组 简单 样本 (《%, y), w= (w, e, a), 
y—(yu c Yn)"。 要 用 样本 估计 相关 系数 时 ,自然 想到 在 样本 空 
间 线 性 变换 下 (w, 四 一 Caz 十 bl, ay+ b1), wAbi= (1, =, 1)*, p 
的 佑 计量 应 保持 不 变 . 

例 1.3 废品 率 2 的 估计 .随机 变量 X (HO 0,1, 0 f 
示 合 格 品 ; 工 表示 废品 .现在 随机 独立 地 检查 了 wm 个 产品 ， 结 果 
为 2 一 (m1, >, En), 车 废品 率 2 Bib dle), hi BA 
数 为 (p 一 Q)*， 注 意 到 可 用 变换 v,—1-—2,, p>1—p, d1-d, 把 
佑 计 废 品 率 问 题 换 为 估计 合格 曲率 . 这 是 相互 等 价 的 问题 , 损失 
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函数 不 变 , 自然 希望 估计 量具 有 相应 的 性 质 , 即 d (2) —1 — (0 — 2). 
例 1.4 设 随机 变量 X 服从 分 布 了 (Cw 一 pp)/o)， 此 处 一 


之 从 二 oc0, 0-g-«oo. uw 称 为 位 置 参 数 , 若 | vdF(s)=0, pi K 


示 均 值 ; o 称 为 刻度 参数 ， 是 离散 度 的 标志 . 现 要 估计 u, HA K 
数 为 d-u). ER, E o 取 不 同 刻度 (单位 ), 凡 和 Ga 也 应 与 2 
有 相同 的 刻度 (单位 )， 用 数学 语言 说 ， 就 是 当 wav, «L0, Du 
>an, oac, 如果 dad, 则 损失 函数 不 变 : (d — n7 / o^ — (ad 
一 Za ， 我 们 自然 项 望 凡 的 佑 计量 具有 这 种 同 变性 质 ， 即 
d(x) —d(az)/a, 

从 上 面相 个 例子 ,可 以 找到 某 些 共性 ， 

1. 对 样本 空间 作 某 种 变换 , 所 有 类 似 的 变换 构成 一 个 群 , du 
为 乡 在 例 1 和 例 3 中 变换 群 乡 是 有 限 群 ， 包含 两 个 元 素 
(go, 91). EWIE, gol, y) — (v, y), m (m, 9) 一 (Yy, 2); 在 例 
3 中 ， gore, quz 1 go gi gi 为 单位 元 ; 在 例 2 中 ,变换 如 
是 线性 变换 群 ( 仿 射 群 ); 在 例 4 中 , 是 乘法 群 ， 多 的 每 个 元 素 9 作 
用 在 样本 空间 上 , 引起 样本 空间 的 自身 变换 , 但 样本 分 布 类 型 并 不 
起 变化 , 只 是 参数 起 变化 ， 由 此 产生 参数 空间 变换 群 I, 它 与 乡 

2. 如 果 行 动 空间 也 作 相 应 的 变换 ， 这 些 变换 也 构成 一 个 群 
G, 它 与 乡 同 态 (不 必 同 构 ， 例 如 在 例 工 和 例 2 中 , 乡 仅 有 单位 
35). 此 外 ,参数 空间 行动 空间 分 别 在 g€ 乡 所 对 应 的 g 和 yg* 作 
用 下 ,损失 函数 的 值 仍 不 变 . 

3. 注意 到 上 面 芋 2 所 述 的 间 变 特性 ， 上 自然 期 望 在 作 判 决 函 
数 时 , 估计 量 也 具有 同 变性 质 , 即 d(go) = gde), Vg € v. 

现在 我 们 给 出 严格 的 数学 摘 述 . 

定义 1.1 不 变 统 计 淹 决 问 题 ， 设 ( 余 ，z) 是 随机 变量 蔷 的 
RESH, P= {Po, 9E 6} 为 样本 空间 上 的 概率 分 布 族 (规定 当 
0150; HF], Pa Po,). 

1. 4 (Ug £54 一 一 对 应 的 可 测 变换 群 , 即 对 Vg C 多， s 
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cE Ba, B JeEBy (对 于 群 乡 来 说 ， 这 等 价 于 g & 2, 
YIE 乡 )， 

2. 车 XP, 假定 对 YE 多 ,存在 0EG@(0 与 9 有 关 ), 使 
9g 瑟 ~Po。 由 此 定义 , 9 X0 = 90, 它 是 9->@ 的 变换 , 由 此 导出 
9 一 1 g€ 4) (可 以 证 明 F ARI FARRE). 

3. 给 定 了 行动 空间 CD, ZZ) RAKAA LO, d)>0, £E 
EOR, LO, d) 关于 A, ANGS E SA 2s RICE WI HU i MJ 
(O, Ba), WER LO, d) X-P (9x D, Zox Bo) TN]. RE 
定 对 任何 g€ 9, 存在 一 个 由 DoD 的 变换 g^, 使 得 

i) L(g0, g'd) - L(0, d) 对 VOEO, ac D, (1.1) 

ii) g^ 4j D—D 的 一 一 对 应 变换 ， H.g'Z— Bp. | 

iii) 4*-—(g', gE 4) 是 一 个 与 4 ast gl. 

在 上 述 条 件 下 ， 则 称 以 (2 Ba, DALO, d) 为 标志 的 统 
TY de o BE dE E 乡 之 下 保持 不 变 ， 有 时 简称 为 不 变 统计 判决 问 
题 . 

本 章 讨论 不 变 统 计 关 决 问题 时 , 在 涉及 参数 空间 先 验 分 布 时 ， 
我 们 皆 假 设 9/76 — Bo X Vgc 7 mr. 

在 假设 检验 时 ，D 与 @ 差 别 很 大 ,而 对 参数 估计 ， 常 常 
(O, Zo) ED, 9) 等 价 ， 多 与 乡 ' 有 时 同 构 , 故 时 常 不 加 区 别 地 
用 相同 符号 . 

定义 1.2 同 变 估计 . 在 不 变 统计 判决 问题 中 ， 0 的 一 个 非 
随机 化 估计 (0) EEL, BAND, Bo RTTA A RO 称 之 为 
同 变 非 随机 化 估计 ,如 果 对 VE 乡 vxcA ,H 

(ga) — g'Ó (a) . (1.2) 
车 (1.2) 式 仅仅 几乎 处 处 (多 ) 成 立 ( 对 每 个 g，(1.2) 不 成 立 的 2 零 
测 集 可 与 g 有 关 . 当 儿 < 时, 往往 是 关于 凡 岂 乎 处 处 成 立 ), 则 
称 为 几 子 同 变 非 随机 化 估计 .有 时 简称 为 同 变 估计 或 几乎 同 变 估 
计 . 

ig XE 27x Bo ERRA CAJE), AC, oc" 是 9 的 随 
机 化 估计 ,在 固定 wz 时 它 是 Zo 上 的 概率 测度 , 在 固定 4 时 , CE 
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Be 可 测 函 数 ， 如 果 它 还 满足 对 vgc4, eco, 
5(gA|go) = (A|) (1.3) 

RE, WE 6 为 随机 化 同 变 估 计 . 如 果 上 式 仅 要 求 几 乎 处 处 (P) 
成 立 , 即 对 每 个 9E 乡 , FE 2? EIAS IN, 仅 当 2EN, 时 (1.8) 式 
成 立 , 则 称 Ò 为 随机 化 的 几乎 同 变 估 计 . 

显然 , 随机 化 估计 类 包含 了 非 随 机 化 估计 类 . 

定义 1.3 不 变 可 测 集 .不 变 o- 域 .最 大 不 变 o- 域 .不 变 统计 
量 、 最 大 不 变 统计 量 . XpAROBCÓÀ. X vgccgB-B, 
则 称 召 为 关于 乡 的 不 变 可 测 集 ; 易 见 ， 所 有 不 变 可 测 集 组 成 儿 w 
的 一 个 子 c- 域 ， 称 为 最 大 不 变 ac- 域 ;， 它 的 任意 子 o- 域 称 为 不 变 
ca- 域 ， 如 果 由 统计 量 了 (z) 生成 的 o- 域 是 不 变 o- 域 , 则 称 全 (o) 
为 不 变 统计 量 ; WEHA Ta) 生成 的 c- 域 是 最 大 不 变 o-i, 则 称 
T) 为 最 大 不 变 统计 量 , 显然 , 它 会 有 多 种 不 同 的 表现 形式 . 

对 任 给 的 zoE 和 ,集合 {z:9g2 一 zo， gE V ARIS 乡 变 换 下 的 一 
条 样本 轨道 . | 

5181.1 ET) KAERRA, Za thir, Te) 
的 值 域 (.F， 乡 y) 为 欧 氏 空间 , Za 由 .9 的 Borel 子 集 所 组 成 ， 则 

i) T (%) 是 不 变 统 计量 他 T(grw) 一 了 (w), vec 4, Vg c. 

ii) T(z) 是 最 大 不 变 统计 量 合 T(w) 不 变 ， 且 对 任意 的 不 变 统 
计量 sU s-oQ(D,po7,23-—(25, B) RA W ig. 
| 证 明 DELE KATETE, VAEZ, 
{2:T (2) — T (29) JE E nf IAE, PROF Vg € 9, geo € (T (2) 
一 了 (zo)}, 这 就 是 说 了 (gwo) =T (29). 

i) 的 充分 人 性， 只 要 证 对 于 VOEZa T0) 是 不 变 集 即 Hf, 
对 于 Vg€ 7,8 

gT 1 (C)  giz:T (») EO} =g{x:T (go) E0} 

= {gz:T (go) CC] = (z:T (æ) €C] =T (O). 

i) 的 必要 性 : WR T(e) 为 最 大 不 变 统 计量 , BUZZ) 为 最 大 
AE o-n., MHEERDER se), 应 有 28) CC), BR nr WU e 
数 的 复合 函数 定理 \ 见 第 一 章 定 理 4.1), 则 存在 p, 使 得 s— o (T). 
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让 ) 的 充分 性 ， 对 任意 不 变 可 浏 集 A, D, 是 不 变 统计 量 ， 故 
I,—o(T), 从 而 知 Ac», 引 理 证 毕 . 

引 理 1.2  üpR EXE B) O::0.,, Py Po, Vd M, Ba) 
上 的 可 测 变换 群 ， 使 分 布 族 保持 不 变 ， 则 由 它 诱 导出 参数 空间 多 
构成 一 个 群 与 g 同 态 ， 而且 对 vgc, 有 96 一 6. 

证 明 i XP, 对 YyE 乡 由 假设 , 乡 使 分 布 族 保持 不 变 ， 
故 存在 9 EB@， 使 9 不 Py, HH 6:0. P,, + Po, p 0 是 唯一 
的 , 故 导 出 2:90 0, 且 可 知 g90—0, XF Vo. gs € 7, t$ 9 9195, 
TE 乡 中 的 相应 元 素 为 Jı, gs, Js, 由 于 9X ~ Po, WF VAC s, 
有 

ed4) 一 Per 4) 一 Po(zlgr14) 
= Paol g1 A4) = Pg. (A), 

HF 0150: I, Pa Pos 所 以 加 "如 9 一 9 一 99， 从 而 知 J= 9:9. 
=—g1* ge. 特别 当 gs 二 gr? 时 ， ET? 为 G 中 的 单位 元 I(10-0, 对 
于 VYOcE6)， gg — I, Bl g13 — (91) 7. 这 就 说 明 罗 构 成 一 个 群 ， 
而 且 与 乡 同 态 . 引 理 证 毕 

对 于 变换 群 Y , 除 在 样本 空间 给 出 轨道 外 , 还 在 参数 空间 给 出 
轨道 : 对 于 任意 的 CO, (0:90—0,, gE VON O 的 一 条 轨道 . 

显然 ，8 的 所 有 点 可 按 是 否 属 于 同一 轨道 而 划分 为 等 价 类 ， 令 

(0, s€ES} 表 示 昌 在 多 变换 下 的 所 有 轨道 ，S 为 等 价 类 集 ， 下 面 
我 们 给 出 同 变 估计 的 一 个 特征 : 同 变 估计 的 风险 函数 在 @ 的 同一 
轨道 O, 上 取 相 同 的 值 . 

定理 1.1 A(Z, Ba, P), £—(P, 09c0) fl L(0, d) 为 
标志 的 统计 判决 问题 在 群 乡下 保持 不 变 , 则 对 任何 9 的 同 变 估 计 
5( 随 机 化 或 非 随机 化 ), 它 的 风险 函数 RO, DE @ 的 同一 轨道 上 
取 相 同 的 值 . 

证 明 只 须 考 虑 随机 化 的 估计 ( 易 知 非 随机 化 的 估计 是 它 的 
特殊 情形 ). 

设 5(a|z) 是 9 的 随机 化 同 变 佑 计 , 所 以 对 于 Vg€ €, galga) 
=ô (a |x), Bl 8(dg'a| ge) —8(da|e). ZE d EHAE, Br LJ 


. 332 * 





R(0, ô) = Fo 


| 
-z [ 
| 


L(6, a)&(da|o) | 


D 


L(g0, g'a)8(dg'al go) | 


D 


j 
-H, I. L(g8, a^)8(da' | [ge) | 


— Ey ||. L(g0, a)8(da’ |2) |= RGO, 8) 


X Vg € € Jr, 从 而 定理 得 证 . 


$2 平方 损失 下 某 些 最 优 同 变 估计 


研究 同 变 估 计 理 论 时 ,我 们 自然 希望 找到 最 好 的 同 变 个 计 , 这 
就 要 规定 最 优 的 法 则 . 

在 不 变 统计 判决 问题 中 ， 同 变 估计 8o 称 为 一 致 最 优 同 变 估 
T, 如 果 对 于 任何 同 变 估计 8， 毕 有 下 式 成 立 ， 

R(0,9,)«R(0, 8, 对 于 YE6. (2.1) 

此 处 RO, 6) 为 采用 估计 8 的 风险 函数 . 

在 本 节 , 我 们 要 在 平方 损失 下 , 探讨 最 优 同 变 估 计 的 求法 和 具 
体 表达 式 , 由 于 这 是 凸 损失 , 我 们 在 非 随机 化 同 变 估 计 类 中 寻 优 即 
Rf. 


一 、 转 移 分 布 族 的 位 置 参数 的 最 优 同 变 估计 
ik kb HEBEL E X —- P(s—01, 这 里 1= (1, ”3 t), d 
«ü- oo, dE L,d)—(0—d). 变换 群 =g CR} 
为 加 法 实数 群 (平移 群 ): 
gz—2z-4-gl, Vc C R*, Vg C Y, 

由 此 群 产 生 作 用 于 参数 空间 的 变换 群 d - S. 

00=0+9 Vg € €, V0C O— (0: 一 ceo<0 一 十 co}. 
不 难 验证 在 参数 空间 只 有 唯一 的 轨道 @。 再 车 采用 行动 空间 D 
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的 变换 群 "一 儿 :g'g 一 d+g， 则 这 个 统计 判决 问题 不 变 . 
设 h(w) 是 任意 不 变 统 计量 , 根据 定义 及 引 理 1.1， 当 取 
g= —« BT, WE 
hw)=h( go) —h(u —2,) —i(T (2)). 
XE T)- (wa — V1, … 一 01)， 可 网 人 (wz) 是 最 大 不 变 统 计量 . 
MAR, 表示 法 不 必 唯 一 ， 对 0 的 任意 同 变 估计 dkz)， 即 Vg € Z, 
QZ) 一 9 do 一 do 十 9 W g= a, 有 
d(z) —v,--d(z—2,1) ^2 Y(T (2)). 
这 就 是 平移 群 下 同 变 估 计 的 一 般 玫 现形 式 . 
现存 求 最 优 同 变 佑 计 ， 当 然 得 假设 存在 一 个 同 变 估 计 局 十 mo 
(T), tE Eost p (T)| <o, RMA Eol X<, Bt d(z) 
p FA UST p CS 
E(0, d(æ)) —Es(zi iW (I (29)) —8)? 
— Es(zi-- (D) )? = EAE Le +y PITI 
= E Eo (X1 -E(X |T) | T]} 
+E {UE (XT) +y IT) 
+2Bo{BoL(X1— Eo(X3| 72) Go CX 3| T) 
TU O))IT]I. 
注意 ,上 式 第 三 项 为 0, Mou) = EXIT) 时 ,使 RO, 9) 
达到 最 小 值 , 也 即 最 优 同 变 估 计 形 为 
8o(2) —2, — Eg (X 1| T), (2.2) 
由 损失 函数 的 严 凸 性 即 可 得 最 优 同 变 佑 计 的 唯一 性 ， 
如 果 分 布 函 数 P017 有 密度 函数 p(w 一 01)， 作 变换 
1 一 站 1 Y= X Xi, W Y= (71,…, Y4)' 在 0=0 
时 的 联合 密度 为 pU Vaca, n, Vu y), EERE T= (ua, n, 
yx) 的 条 件 概率 为 


p, atus ^n, veru) /| ed, Yatt, =, yy t t)dl, 
故 


e 334 o 





| yi ps, Vat ys, cn, Yet yi) dy 
E(X lT) = 二 一 一 
| DP, ya yi s yy dys 


[ (9, -- 8) p(21-—0, Yat m — 0, =, au t $1 — 0) d0 


g p(z1— ð, qa 1-21 — 6, UU yst $1 — 0)d8 


m: |. ép — 0048 / [^ pe- 009. (2.8) 
其 中 第 二 步 是 仿 y= H (2.8) $1 (2.2) 即 得 0 的 最 优 同 变 
Wi ET ERER 
Boss 人 ope- /| pe-a. (2.4) 
此 形 的 估计 一 般 称 为 Pitman 估计 . 
WR Kolei =, 则 把 X. KR Xip, 用 同样 方法 可 
以 得 到 
õo (w) = t1 +p (T) — Eo (X4-4- po (T) |T). 
把 42.3) 的 E, (X T) 89g ES (Xito (T | T) ,可 算得 它 等 于 
ze (T) 一 人 6p (s— 6048 /| p(s— 6120. 
从 而 仍 可 得 (2.4) 式 的 结论 . 
很 易 证 明 Pisman 估计 是 无 偏 估计 .车 随机 变量 X ~F) 
有 和 密度 f(z 一 外 ,随机 独立 抽样 结果 为 %== (m, o, v) 有 联合 密 


BE p(2— 01) = Ef (6, 则 9 的 最 优 同 变 估计 可 表 为 


=| OS-a /| IS. Q.5 


例 2.1 X REREMRA A SAA, 其 密度 为 

fæ-a) =B exp] - (v—o)/BlM.s («€R,, 870). 
GITT n AINE, RGT CARE i rA Cd oS e 
vow， 可知 其 联合 密度 为 


! - | 
ue P exp | 一 2 wo 十 (一 个) ver) — na) /BE 人 
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ia U- 2 Sot (n— T). 
对 已 知 的 8, 参数 空间 为 aE RB， 在 平方 损失 下 , o 的 最 优 同 
RE Ait Ó (wo, Ut 89) 为 
| aexpL— (U — n) /8]da 


| JL expl- (U — na) /Blde 
- Í —"aexpIna; B]da j 全 exp[no/B]da 


— (1 p/n. 
不 难 验 算 其 方差 为 P/A, 5p m 无 关 . 
例 2.2 令 X -—N (u, i) (—9o«p«oo), Ti, tt, 08 为 来 自 
X 的 简单 抽样 结果 , pw 的 同 变 合计 为 
[noxp[ 5 Em? Jan 
]-: exp l -4 3n - p)? Jdu 
上 述 结果 很 易 推 广 到 多 参数 情形 E kxn pi HE EAN 
P(x—015, Wk 0c R*, 则 在 损失 函数 L(9, d) -]8—di? F, 9 
的 最 优 同 变 佑 计 为 
(2) — 2, — Eo (1| T), (2.8) 
此 处 了 = (za 一 2 t, 294—271) EDLE EE. 
M P(z—0i) 55 BEI p(e— 01) Bj, 则 8 的 最 优 同 变 估计 
可 表 为 


n — 
= $ion-—c 
< 


TON 6p (z — 61*) d 7 A »(s—6i)d9, (2.7) 
642.8. E X-—N(u, Aj), Ay70 BA, u € R* 未知 ; 估计 为 
ww， 损失 函数 为 lud)’. 对 于 来 自 和 C4, Ax) By n rh sr. XXL Ut 
V4, t, Vs, 此 的 最 优 同 变 估 计 为 
|. Ca -3 Bj eo ! (m — qu) Hn 


Ls apd- l i2 (e — p)" Az! (a — u) lau 


ü- 


Co 
C) 
D 





f Mm od — 
| es[-$6-0748G-20 la 
—— —————— =% 


A PESE m (y — u) "Ar E- p) dn 
它 与 hi 取 何 值 无 关 , 推导 中 利用 了 等 式 


NT CC AP 78) 


i-— 


Tn(r—w)* Aj (z— p). 


二 、 刻 度 参数 分 布 族 中 刻度 参数 的 最 优 同 变 估计 
设 维 随机 向 量 X~ PaF), HR Po C] X | —0) 一 0 变换 
HR 4—1g:920; 取 为 一 般 乘 法 下 的 乘法 群 ， 对 于 V9E 乡 gx 一 
g:z, 由 乡 引起 参数 空间 O— {c:c>0} 的 变换 群 多 一 乡 vge 9, 
A go-—g-o-—go. 估计 ca 的 损失 函数 取 为 L(o, d) = (e—d)*/o*. 
那 末 行动 空间 的 变换 群 采用 乡 一 乡 : Vg c7, g'd=gd, RE F) 
决 问题 不 变 . 
对 任 一 同 变 估计 dC), ER g= 1o] 一， 可 得 
d(z) — g^ d (gx) = |s id (1| ^2) = |e]d (T). 
Wit T= jols, PXE, 它 是 最 大 不 变 统计 量 . 
同 前 一 问题 一 样 , 要 假设 有 同 变 合计 在 o=1 时 均 方 有 限 ,不 
失 一 般 性 , 可 先 设 Eis|^-—oo. BT 
E, (d(z) —o) /a — E, (jeld (T) —o)?/o? 
= B (|e|d (T) —1)* — EACECC[ oid T) —1)? |T1) 
>E, (min [4 (T) E, (lel |T) — 247) Es le] |) 2-11) 
= E, (|s| Ele] |T) /EiQol*|T) —1). 
由 此 得 到 o 的 最 优 同 变 估计 为 
ô= |s| Eel |T) /FACIo]* | 7). (2.8) 
4 Y= |el, Y.e/ie|(QxiE). 注意 到 它 的 Jacobian 


FIREN A /(1-39i) . TEN P(s/o) 有 密度 函数 
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o^ *p(z/o)Bj, a —1 Bf (yi yx) HUE RR RE DN 
yi (1-2) [x yi (i- 39 l: YY, 3 vue) 


e»(-n(1i-2w) ， 915, "**, vy) . 
注意 ,了 正好 与 (Sgn wi, ys, e, yu) 等 价 , 故 
| co k —1/3 ko N13 
(ry Es) 
x Bgn v1, YYa, "t, Vig ans | / 
Saa- *«»(-X3s) 
X Sgn ti, «yis, t, uy Jana | 
对 积分 变量 gi MER (1-2) Sea amao, RHE s 
zj/ lel (24 E) 代入 表达 式 , 从 而 推 得 = 12] /o, 有 
Esel) | .cye)ac 
Eoi") lel | o7 7*p(/o)do 
由 此 得 到 o 的 最 优 同 变 估计 为 
6— [o p(s/o)da / |n "tp(s/o)de. © (2.9) 


812.4 问题 如 例 2.1， 参 数 a 已 知 ， 而 要 估计 刻度 参数 B. 
0— (8:870). tiU ESOS (8 d)*/B^..— 显然 ,此 淹 决 问题 是 在 刻 
度 变换 群 下 的 不 变 判决 问题 . B 的 最 优 同 变 估计 Bx, n, t) 
应 为 


9 7 ex C- (U 702/848 
[8777 *expC- (U no) /8)dB 
- (Coen mas / [rtu nnd 
= (U -no) (4-1) /T (r2) 
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-(3 £d (n— ra —na) / (r1). 


TEBINRAydSZCT, "DADe(U—ne)/B-ix2, Weit DAS BR X 
E(B— B)*/g*--1/ (r 4-1), 


三 、 刻 度 、 位 置 参 数 皆 未 知 时 的 最 优 同 变 估计 
B k UEBE BL E X — P((—00/o), P 具有 密度 函数 
c "p((e—81)/o) (—9o«8«oo, 07-0), 在 平方 损失 a (d —0)?/o* 
t b(da—o)*/a? 下 (4 之 0, 8 之 0 己 知 ,不 同时 为 0)， 
变换 群 为 仿 射 群 


1, 0 
d i (( ; Ji eee reno), ey, 


gz — ez 4- ei, 
FETAR Hu IE TRE AURI], 在 矩阵 运算 下 ， 它 是 一 个 
PE. ERE, AHT 


( d (: : | JR Jj 
g= (| h5 , J599 $ 
€1 C1 ĉo Ca 1 CI1/\6a Ca 


Tes 
€i Cila 0102] 


而 这 可 以 对 应 着 
19s = gi (Cat eal) = C1 (est H- 691) 十 el 一 ci 和 十 (cles 十 6 0, 

由 4 jS nad -4:vgc. 

g(8, o) = (c8 +e, co)*. 
HITZ V" UK Fv Eg, 

9'd — (ed4-4-e, eda)”, 
BA, €, 多， 儿 ' 同 构 ,并 使 判决 问题 不 变 . 
对 于 (2, o)* 的 任 一 同 变 估计 d) = (d(e), dal(w))", 由 定义 


1 0M 
Hl, d(z) 一 g dige), X] VJERA. MH s- ;) j dE 
e 起 1/23 1 
mic (2 —2)) , 则 
4-2 : 
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dla) — g"-'d (| (ztd, (=a), sd Ce 
令 了 = (w 一 vl) /3， 它 是 最 大 不 变 统计 量 , 一 般 最 优 同 变 估计 就 可 


RN T 
d(z) = (vit di (Ts, sda(T))*. 


如 同 在 本 节 第 一 小 节 中 那样 ,不 失 一 般 狂 , 我们 假设 Eliel < 
co, 出 对 任 一 同 变 估计 地 有 
R(0, o; d) —aE,,(di(c) 一 -8)*/e*E, d, (z) —9)?/o? 
— GE, o(d4 (v) )* --b E, o(d (£) —1)? 
= G EA o(s +d (17)8)3 4-5. E, S (6da (T^) — 1)* 
=a B, o (Fs oE(2i4-di (D)8)?|T]) 
E (E, [Gd (T) —1)*|T]) 
zal. Dm Esso 4-di (D)8)?| T) 


EE, S (min E, Ed; (T) —1*|T]) 


neptis a) 


Hi,o (SIT s 
--b E, [G BGN - 1) 
Bi,o(wis|T)s F 
E,o(s|T) j 
E, (S| T 
Haee 51 
由 此 就 得 到 0. o 的 最 优 同 变 估计 为 ， 
Ó = 2, — SE, o (258 | T) / E, (8? |T); (2.10) 
6 —8E, (8| T) /Ei,9(8?|T). (2.11) 
问题 转 为 求 条 件数 学 期 望 , 以 得 到 台 及 6 的 明显 表达 式 ， 这 
求法 与 刻度 参数 已 知 时 类 似 . 
作 变 换 yim, ya—$, y= (xı — 21) /$ (4 —88, UU, k), 则 
(91,9», ^, Vu, BEN ($a — 21) ) 的 联合 密度 为 
« 840 。 


| 








= a. E, ie: ”一 





* 
m — —M 


g* 


J 


kN\1/2 
1 yi-8 Sgn (e 2) ya (1-3?) +yı— 8 
( g ^! C 

Yays+yi1—0 - Vua tyi — 0 

LYER o uu, CHA ) Jg). 


Cr 
这 里 J 为 变换 的 Jacobian 行列 式 ， 因 为 此 变换 等 于 先 作 变换 
yi—91, 4-5 t (6—2, =, E), fS ERE SR =y, va, 


y. u/8(65—9, =, k). IK JN 
10 œ 0 
-1 1 . 0 


det : 
一 1 0 1 
k 1/2 -1/3 
(1-: 4) -u(1- S4) -v(1- 3i) 
i= -3 i-8 
xdet Us ja: 0 
ys 0 93 


因此 
E, (23$ | T) / Es, o (8? | T) 


a bp w NI1/3 
-| NT. (ws, v (1-9) Sen (a — v4) 


0 


yi Yays ty c5 yt )4 di dy) / 
co Poo 5 k E 1/2 
i | vipus v (1- 9t) “Sgn (wa— v1) 


0 


二 Yi， Yay tyr s, Vs + yı) d dy dya} 


F (z4—0)p ( 428 o dô do 


Hr gp ( 2 p dg dc 
最 后 的 等 式 是 由 分 子 分 母 的 积分 作 变数 变换 ,， W ya) (0, 0) 5A 
e (21—0)/0, ys—8/o, 从 而 可 知 有 


(6-0) /oy (1-309) Sgn (zaa), 
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而 y (Sex E) IRR RS] (m — 24) /8 A, 18 yat oy — (2$,—0)/o, 
即 得 上 面 的 积分 等 式 . 
同 理 可 得 


BI) Ja) to ( F ) dar 





—— ——— - 


J2,,9 (8? | T) SP osp( 2 一 如 )d$ do i 
oJ- 


H (2.10) 5j (2.10 3€ HI [48 














ffr (Raus (2 2) | 





可 ， Qu 


$812.56 问题 如 例 2.1. 参数 空间 为 —oo-acoo, 870, 要 
估计 aB, TAA BR CIR a (d, — 0)*/ 8? 4-b (d, — 82 g*. T 18 (2.12) 
与 (2.13), 基于 TD ET S e Ce) 的 «a. B 的 最 优 同 变 估 计 
为 





Im B=- exp ( — T3) dadg 


nl 
[orn (Ejus 





== (1) e (U — (1) /nr = (y = (3 Tei 一 TEO) )/n. (2 , 14) 





b- : um B= exp (— BS) dadß 
Tepo epr aaa | zs E 
iU 





L Bg" exp (- indi som) dB 
j, £7 exo( -5e 
= (U — na) /r= (È ro- ran )/r. (2.15) 
将 上 述 结果 与 a 已 知 或 B 已 知 时 的 估计 作 比 较 ， 注意 到 a(U 
一 nw))/B RM zri 分 布 , 且 与 wb 独立 ( 见 第 二 章 例 3.3)， 
易 算 得 二 估计 的 风险 函数 是 
a(r 4-1) /r?r --b/r, | (2.16) 
用 公式 (2.12) 与 (2.13) 还 容易 求 得 
i) 正 态 分 布 WU o°), Xvi, e, m. 为 简单 独立 抽样 结果 ， 
(p, o) 的 最 优 同 变 信 计 为 
» D(n/2)49 S 
(s. I'((n—1)/2) (a—1) a) 
KH z— 3 n/n, Si- 312), E RRRA 
b . . 21?(n/2) d 
ss Pa-1/3y G Sip) | 
D 当 (ou s nM AERE TL [Dr uuu G0 ] 
(n22)8, (0, 0) 的 最 优 同 变 信 计 是 。 
(ta) ttm)/2, (t$« —*a,)(n4-2)/n, —— 
XX Hog sm oom mu) 是 顺序 统计 量 , 估计 风险 函数 为 
b 2a 
2(n--1)(n--2) TORT (n-4-2)' 
对 于 极 值 分 布 、Logistio 4:46, Cauchy 分 布 、 双 指数 分 布 等 
位 置 刻度 分 布 族 的 一 些 分 布 ， 位 置 参 数 及 刻度 参数 皆 未 知 时 的 最 
优 同 变 估计 药 可 用 (2.12) 与 (2.13) 来 进行 计算 得 出 . 


m. £555 Nu, A), nc R^, A>0, p 
及 和 的 最 优 同 变 估 计 
Wb, e, mw 人 > 人 是 从 总 体 的 独立 抽样 的 结果 . 
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D Taupe 
采用 损失 函数 u-d A? (n —d), 在 例 2.3 给 出 当 A70 EB 
知 时 ,采用 转移 群 时 ， e 是 /的 最 优 同 变 估计 ， 这 里 我 们 采用 多 维 
仿 射 变换 群 经 
1 0 O 为 kxk 维 下 三 角 阵 ， 
g-{(， oJem | 
它 在 矩阵 运算 下 构成 一 个 群 ,对 任意 的 9EG， 
gx — (cz,--e, Ca++ e, `, Ca +e) 
由 样本 空间 引导 出 参数 空间 的 变换 群 多 =W YEI, 
g(p, A) = (cu +e, cAc"), | 
车 行动 空间 采用 与 乡 同 构 的 变换 群 S, 对 于 Vy ce, 
g'd.--cd--e, 则 使 此 统计 判决 问题 不 变 . 
对 于 关于 仿 射 群 的 多 的 任 一 同 变 估计 n, alge) =g" n), 


1 0 - 
VEIRE. TTH d ,此 处 S87 — 3X — 8) (0 8)*, 


SJETIAMRHXDAGUGEXGE, HiddT-(S3(m-2z, =, $7 
(2,—2)). TY | 
iz) 7 gu (go) -z--Su(S(m —), =, Sce 
—z--Sp(T). 
JC BI pe KI EL AES TPBBU — BORA. BURIED ER Z z 3 T 独立 ， 
从 而 也 与 5 独立 , 故 | 
E{ (p(s) —u)*A^ (a2) — u) |u, A} 
= H{(@— p) A (E~ u) |u, A) 
HELS A(T) AST) |u, A} 
2 E((—p)A(s—yu)) =k/n, 
因此 , z d u ig Ee Do eg Ed. | 
H) 关于 协 方差 阵 的 最 优 同 变 估计 | 
损失 函数 采用 ir (41D — —L)*(D»0), 变换 群 采用 在 i) 中 所 
述 的 类 似 仿 射 群 , 但 要 求 O 为 非 退 化 的 ， 因此 gv 仍 为 正 态 ， 只 是 
SEN gu, A). X 
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L(gA, g*D) -ir((CAO*) 3ODOC" — Dj 
=r (07A DO — D -4r(A3D— D) —-L(A, D), 
故 这 个 统计 估计 是 不 变 的 ， 注意 ， 这 损失 函数 为 凸 函 数 : 因为 对 
4>0 的 任意 估计 D:->0, D0 及 0<n<1, 9g=1 一 p, 有 
tr [A (pD: +D) — I]? o 
= tr [p AD, AD, +g"4-1DsA- 1D, — 2p4-1D， 
—2947 D, --2pg A3 D, A7 Dy: I] | 
—ir[p(A72D, — D?--g (A73D; — D? -pg (471(D,— -D2)l 
«ir Dp A71D; — D)?--g (AD, —)?]. 
| (注意 47 wp BB). 
其 次 , 由 于 "一 (ca …, wn) 的 联合 密度 是 
(2m) ^ et 4) "exp [ SG 747 (8-1 /2] 
= (2m) "? (det A)" exp[ — m p)"A (z—u)/2 
—ir A7189/2], 
此 处 z= 3 n/n, S= 3-2) wD)". 

”由 此 不 难 推 得 va 一 x，…， zn 一 2 的 密度 函数 是 const"exp 
x [一 二 A-193/2] ， 这 就 说 明了 S? 是 “一 一 zt 的 充分 统计 量 ， m A 
的 同 变 估计 满足 D(z) = 刀 (z 一 zl)， 所 以 由 充分 统计 量 的 优良 性 
质 ( 见 第 一 章 定理 6.3)， 最 优 厨 变 估计 应 在 依赖 于 充分 统计 量 S? 


1 ON 后 
一 SS", z 的 同 变 估计 中 寻找 .对 此 类 同 变 估计 , 取 7 ， 


S 
由 定义 可 得 € Sr 
D(z, S?) -5D (0, DS., 


Led 


1 0 
我 们 还 可 断言 DO, DAN TE. alk o) € 


为 xk 对 角 阵 , 对 角 元 素 取 值 十 或 —1, 对 所 有 这 类 乡 应 有 下 
V ME: 

D(0, D) -D(g(0, D) -GD(0o, D”, 
E C MB OUS UR 878 j TNISAGUK S, WDO, 


m————— ———— 





DÖ HG, DRG o sx D(o, D) 相应 元 素 异 号 ， 欲 使 
D(0, D) -GD(0, DC", 必须 D(0, DKG, DRG 02535 X O. 
4- D(0, D BUS f825329 h, …， ho 现 考查 同 变 估计 SDO, DS" 
的 风险 函数 | 
R(u, 4; D) - E(éz(A*D(s, S) -D |u, Aj 

— E (&r(D(z, S?) — I)?|0, I NM 

= Ho,1(tr SD(, DS*SD(0, D)8*—2tr SD(0, D)S* - E). 
iiS ZGÉGLXON S4(84-0, ij). 4 S"S-M. M HALRA 
Tw. 于 是 

My = 2:89, T, 一 2 SySy hb2v-i, 


从 多 元 分 析 知 识 知 ，S? 服从 Wishart 分 布 ， 维 数 为 XE， 自 由 度 为 
n-i, 其 密度 为 


—kLGO-—1) EN " = —n41 
PEER r5) ara ^ 
n-k- | 1 CT 
X(deiS?) ^? exp (-x ir A 18) QU 8-0 m. 
由 于 S8 的 Jacobian Jy 2«95,8177---S,u, 故 的 概率 分 布 密度 
1 xk k 
a exp[— 2255 | 


BC] 
(4 81,70, …, Sw>0, —oo«S,«co, 1«j-i«E), 
这 就 说 明了 对 1<i<j<k, Su N (0, 1) R Samaai E) VÉ 
Sy 彼此 独立 ， 这 就 是 被 称 为 Bartlett 直角 坐标 分 解 的 结果 。 从 
而 知 mace 22 ar。 所 以 | 
| Em, HS E D 8t 7n—i--k— in k— 2i, 











Em, — (n4-k— 24) (n--k —244-2) | (£1, 2, --., k$), 
Emy= E( 228, jp) —0 (1«$-j«L), 
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Emz = ESS? p x EN? Siy + 之 ES,,S4S Su 
-P> V xx 


=n—j+k—-j=n+k-2j 《< 一) 入 从. 
故 当 4 二 了 时 ， 


k 
EirSD(0, D)S* - Etr D(0, DM-3 Ehmy 


: | 
"2 h(n4- k — 24), 
$= 
Er SD(0, 门 SrSD(O DS" 
—- Eir D(0, I) MD(0, DM= 2 Ehfgm;, 
$ 


-$ia n--k— 2i) (n4-25 —24--2) t2 S unb 2j) 
4 h* Bh, 
这 里 及 = (hu, e, A) B 是 对 称 和 矩阵 E | 
bi= (n4-k—24) (n--k—244-2), b—n--k—2j, 4 j-4 T. 
Bi EidSD(0, DS*SD(0, DS*—A'Bh»0, MhsEOmBj, W 
B^0. REME 
R(p, A, D) =h" Bh—2 33h, (n-^-k— 2j) +k, 
要 使 R(u, A, 刀 ) 达到 最 小 , 24 ENY h MENE 
Bh=(n+k—2, n+tk—4, =, n—5E)*, 
h=B(n+k—2, n+k—4, =, n—E)*, 
ig A B ARA SDO, DS", Bg A 的 最 优 同 变 估计 . 
当 8 一 2 n>k 时 ,可 以 算得 


(nd n? —(n—2) unc UAR. — 0 
MET aD e a 5 8 - Wadi-ae-X c 


从 而 可 以 算出 的 递 推 公式 ,并 用 归纳 法 证 得 有 的 各 元 素 为 正 , 县 
小 于 (证明 留 给 读者 作 练 习 ). 


63 位 置 参 数 最 优 同 变 估计 的 minimax 性 
在 前 一 节 ， 我 们 已 探讨 了 在 平方 损失 下 位 置 参数 最 优 同 变 佑 
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NSCRHEGMORAESEIRGA. ES, 我 们 研究 在 转移 分 布 族 下 、 在 一 
BRRR T, 最 优 同 变 估计 的 存在 性 及 minimax PE, 50 年 代 时 
Blackwell? Girshick 及 Savage/9 作 过 研究 ， 这 里 采用 陈 希 攻 名 
的 这 方面 工作 ,对 证 明 过 程 作 了 改进 . 

BX-CX,-o0, 了,) 为 随机 和 矩阵， 其 中 Xll, 2, =, 0) 
本 身 为 & 维 随机 向量 n (va, e Ra)", WOS, e, Ox)", 
I7, e, Dim 5 一 也 v4/n, Bit X P(s-01), 了 的 形式 已 


A1,0 c R*, 我 们 的 问题 是 估计 9, HAARAA LO, d) =W (89 一) 
在 样本 空间 的 平移 (或 转移 ) 群 乡 = (9: gc B5 满足 加 法 运算 ， 对 
vgc 4. 
gz-—24-gi*—(z149, :, a +g); 
由 它 诱 导出 参数 空间 的 平移 变换 群 乡 = 乡 对 V9E 纪 g9—9--9 
同时 , 若 行动 空间 采用 平移 变换 群 9 一 乡 x Yg*E Y", v'd- 
d+g. 显然 , 这 三 个 群 是 同 构 的 ， 又 L(g9, 9*@) — L(0, d), 因此， 
参数 9 的 估计 是 在 平移 群 的 不 变 判 决 问题 ,对 于 任 一 同 变 估计 
bi (2), 它 应 满足 
Ô, (go) =9'61(%) —Ó, (a) xu vwe g, 
若 取 9= 一 x, 立即 得 到 | 
9) - 2 6o — "I ^at 8r). | (3.1) 
此 处 Si(%) 满足 : | 
Sia) =S æ+ AN, 对 Vgc T, oca, ` 
HERE 0(2) =-z5-+S(Co)， 风 险 函 数 为 
RO, 6(2) =| WO- aP (617) 
=| „W E- S G--617) —g]eP (æ) 
&p(0, S, P, W). (3.2) 
E 6 (a) 是 同 变 估计 , 则 R (8, ĝe) -o(0, S, P, W), 它 与 9 无 


X. 
WU A-DELEE R" EX fü dk R jg Bj Borel i E nj iN 
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BE, .4 AM 中 一 切 满足 (3. 了 时 函数 的 族 ， 定 义 
V —-info(0, S, P, W); 


| VQ, P)= inf sup p(6, S, P, W). 
4 G (0) 为 9 ite 4-5, ic 
VW, P) - sup inf | oC, S, P, W)dG (0). 


显然 ,了 之 PF (W, P>VW, P). 我 们 将 证 明 V-07 W, P) = 


V(W, P). 同时 解决 最 优 同 变 估计 的 存在 性 问题 . 

关于 损失 函数 的 基本 假设 是 : 

1." WER hes, W(0) 0, 8 P(a) d RE RE IO), 
WERE WOO) 在 有 界 区 域 上 有 界 . 

2 lim W (8) =, SB XS EB 9,48 W (0) 二 lim a W8). 


由 1 P 知 存在 >>0, fi W (0) 7008 18170. 
3.* 丽 ( 好 ) 作 为 实 变量 上 的 函数 , 在 620 RER, t<0 时 非 
增 . Es 
定理 3.1 车 损失 函数 满足 1*~3"， 则 存在 最 优 同 变 估计 
ó (a), Wf EAE minimax fil, BE | 
R(80, Ó;, (z)) 一 太一 =V W, P)-Y(, P). 
在 证 明定 理 之 前 , 先 证 明 几 条 引 理 ， | 
引 理 3.1 WOX 天 上 的 可 测 函 数 ,在 有 界 区 域 上 有 界 ， 
满足 假设 2" 3 RWO =0 并 存在 mm>0， 使 得 PCIX |] 2 m]8 
— 0) — 0, Ji] 
V —into(6, 8, P, W) -V 
证 明 BEL 2^, W (8) < lim W (0), 故 存在 充分 大 的 。>3， 
使 得 
当 16,17 (ce 一 六 ro 121<2m m, W (0 >W (03), — (3.8) 
由 于 POX[7m|0-0) =0 及 分 布 函数 届 于 位 置 参数 分 布 族 ， 故 
P([X-8|«m|6) =1， 由 此 可 见 ， 从 挡 祥 结果 计算 出 z，9 以 概 
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率 为 1 在 以 4 为 中 心 、m 为 半径 的 球 内 ， 2 的 一 个 合理 的 估计 
& -- S (v) ,其 值 域 应 在 此 球 内 ,也 即 满足 关系 式 

]z—-2—5(2)] — [S (2) | &m. 
从 这 个 直观 分 析出 发 ， 指 导 我 们 作 如 下 设想 ， 对 于 9 的 任 一 估计 


3 十 S(w), 我 们 定义 
| SG [ Sæ), 4 JSE) | «am; . 
mS (2) / | S (e) |, 当 [S(2)]7am. 
可 以 证 明 09 的 这 个 估计 z+S*(z) 优 于 z+SG)， 这 是 因为 当 
IS (z--01) | 2am Bj, |" (e--6017) |<m. X. Py (IX |] &m) =1, 
故 
|z --S (s 4-009) | 2 1S (s 7-017) | — 1x] 29 (a— 1), a. S. Po, 
lz--.S* (4-017) | & S" (4-017) | - [z] 2m, a. s. Po. 
再 由 (3.3) 式 ,得 | 
W(—z-—S(sz-01)) 2W(—z-—S'(z--01)), a. 8. Po. 
H [S (s -- 617) | &«am 时 ,上 式 也 成 立 , c (3.2) HIA. p (0, S, 
P, W) >p(0, S", P, W). 因此 , ^ 8 表示 所 有 满足 IE |« 
am 的 统计 量 , 则 可 把 估计 类 限制 在 O (v) —2-- 8" (a), S'(2) €8, 
并 不 影响 引 理 的 结论 . 
下 面 我 们 采用 0 的 先 验 分 布 作为 191 和 上 的 均匀 分 布 ， 由 
V 的 定义 ， 对 任 给 的 6-0, FE Sw) ES 或 估计 量 Ü (9) 一 2 二 
S'(z), 使 得 
Vesp 


x Ie1«T 
-六 | dP (e) | (一 人 Ge+b —2)d8, (3.4) 


此 处 Vr 表示 (0:10| « Ty BER, HEF F T/r) 
/2)， 我 们 记 


a| W (—8* (2+0) —z)dP (a) 


A= (8:]0| «T, |0--z|— T), 
B-—10:10|1—T, l6--z| <T}. 
BE X [S'I«am, |r| m, a. s. Po, X 
* 250» 





yí. -f )W C-8*G--61* 2). | 


< max wo» .a0 | a9) 


V o» Misc Dm 
2M | 
Va JaeisTAm itn 


—2MET 4-m)*— TH /T* — 2M [(12- T7m)*— 1], 
此 处 六 = max W(t), 因此 继 (3.4) 式 ,有 


tl<Cati)n 





5l dPQ)| — W(-8'(e--617) —2)d8 


1 l Ll * 
EA POf aus + -| ws (w+ ) -2)d8 : 
»-| aPQ)| Lau WOS Ot) -z)d8 
—2M [(1--7'm)*—1] 
-| dW Sot G-E") x aPQ) 
—2M LG 4- T-3m)* — 1] | 
> inf [Ws (e (£—2)1*) — z)dP (a) 
-2M[Q-T-Àmp-1) — 
> inf | W(-8*() -z)dP() 
—2M [Q.4-T-59)*—1). B (8.5) 
上 式 第 二 个 等 式 是 作 变 换 0--r—1, 然后 交换 积分 限 . 最 后 一 个 
不 等 式 是 因为 对 固定 的 如 Set (82) 7) 是 一 个 不 变 统计 量 ， 
而 表示 所 有 不 变 统 计量 的 集合 类 . 根据 (3.4) 与 (3.5) 式 , BR 
T=, WERA V ey, 由 于 s 的 任意 性 ， 故 了 上 六， 前 
Bieibg;V«VA«V,WiV-VF, 引 理 得 证 . 
注 1 对 于 了 是 概率 测度 的 假定 若 放 宽 为 有 限 测 上 度 ， 结论 仍 
然 成 立 . 
注 2% EWO 有 界 , 则 引 理 结论 仍然 成 立 ， 


s Bs 





引 理 3.2 车 假设 1°、2° 成 立 , pO OP, B) El o- 有 限 测 
度 ,而且 对 任意 有 界 集 B, 有 1(B) oo, 4 (a) = |W (a+8)dp, 
又 车 
MOLEN au, V nr 0du 
对 所 有 连续 (对 一 切 mm)， YU 
lim infA, (a) —inf hla). | 4 (3. 6) 


当 上 式 右 端 有 限时 , 则 存在 有 限 ao, HORA TRUE do Bl Bp. 
Ah (ag) =inf h(a). 

”证 明 我 们 取 m 充 分 大 , Stu(]o|«m)0, a TW 
lim W (0) &-A&8& 1^, 故 h(a) 最 小 值 必 在 某 有 限 点 en 达到 , 由 定 
X halam) 之 bm-1(am) 255 -1(45-1), W mlan) 是 r 的 非 降 函 数 
显然 ， 

4elimj(on) «int | V (a--8)dy. (8.7) 
下 面 证 上 式 等 号 成 立 , 若 4=ce， 则 引 理 正确 ， 若 4<ce， 这 时 
iex) VAER. 否则 ， 就 存在 子 序列 fan, E [as | (ko). 
这 时 对 任何 的 8<co， 由 Fatou 引 理 知 , 对 任意 的 有 限 5, 有 


A= lim hm, (Cn ) >lim inf | W (d, + 0) i | 


Nc 
4 2 一 co， 再 注意 假设 2"， 由 上 式 可 得 

对 于 Va, 4> | lim W (Odu > (W (--aydu., 
因而 A> S infaa), 这 与 (3.7) 式 矛盾 , 说明 (au) 有 界 ， 从 
而 存在 子 序列 {am}, (E ama? (hoo). 注意 当 my 充分 大 时 ， 
mx 之 六 (可取 b 为 整数 )， 


CONS [RN W (ay, Oda. s W (2o,--6)dg. 
= hm, am) SALO, 
a 352 « 





因 Amla) Jk o 的 连续 函 教 , 即 有 名 (co) 魏 4， 从 而 hla) « 4 «eo, 
与 (3.7) 北 较 , 有 A-—h(a*) —infh(ae). 9|] E nESE. 

注 dim WO) 不 存在 , 则 引 理 不 一 定 成 立 , 例如 到 WA) 
Ig. dii (2) = [n (14-0)*] dO. 因为 | W (—n 4- 6)du(0) 


一 0， 故 引 理 不 成 立 . 

引 理 3.3 假设 

D uw JR, Be) LEWE, 对 任意 有 界 集 JB) «ee, B 
有 密度 函数 do — 9 (0)40. 

d) W(0) 在 任意 有 界 区 域 上 有 界 可 测 ， 
则 hn(o)—)| ,Wlo+6)g(0)a0 
Æ a 的 连续 函数 . | 

证 明 任 取 一 串 a;a(neo), 不 失 一 般 性 , & Tasa] «o 
(n—1, 2, =) Æ [8] &m--5 上 ， 根 据 Ruzin 定理 (参见. II. 
Harancon k 实 变 函 数论 ?第 四 章 定理 4, 对 任意 的 8770, 存在 连续 


BU fa (0), [fas (0) | max W (a-1-0), f 
L40: SaO) AW (a+), [9] <m+8} ^ LB.) «e/2. 
Bot 
[A (a) —he (a) ||... IW (a0) -W (5-0) gd | 


«2|. 9 (8)d0 sup W (a--0) 
2a |f. (8) — fes (a, — a -- 0) 19 (8)d8, o4 
由 于 J(9) 在 iel <m +ð 上 一 致 连续 及 js g(0)d9 «oo, 故 


lim [As (a) — lnken) | <2 sup. W(a--6) f, 9040. 


由 于 e 的 任意 性 ， ERGGMERZ. 引 理 得 证 . 
O W34 A X RY Ef Brot Borel RAX, DEZ, 
设 P(y, AWELE Dx 2, 上 的 函数 ,满足 下 列 条件 ， 

v BA 
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1” 对 固定 的 yED, EE Z, 上 的 概率 测度 ; 

2" X EE ACA, CE D E Borl 可 测 函 数 ,又 设 W (8) 
满足 引 理 3.2 的 条 件 ， 则 对 任意 的 正 整 数 m， 存 在 定义 在 人 上 
Borel 可 测 的 函数 as (y), 使 


| Wana) -a Pl, da) 


— inf W(—a-—2z)P(y, d), (8.8) 


a lvl «m 


又 存在 刀 上 Borel SWR a), 使 
| WC-aG) —2) Pi, da) = int |W(-a—2)P(y, de). (8.9) 


从 引 理 3.2 Br diio WEH h RÜRUEE E BR HC as (y). A aly) Wi 
足 要 求 , 至 于 它们 的 可 测 性 , 这 里 就 不 讨论 了 .有 兴趣 的 读者 可 参 
见 [5]， | 

定理 的 证 明 很 易 验证 , 引 理 3.1~3.4 的 条 件 是 满足 的 。 取 
Z(s)-«s—zV, BEZE), 5 的 正则 条 件 概率 函数 为 PCz，dz)。 
这 时 对 任何 非 负 的 Borel nf Ny pd P CX), 有 

E{p(X) |Z} = E{p (2+2) |2} 
- Y (Z+z) P(Z, dz). 


在 此 及 以 下 , E Redi Es. 
ESES, WI f) D, 此 时 
E(W (-f(9) -2)|Z -|Wt-f() -) PG, d3), 
根据 引 理 3.4, Hx D— R*, FE Borel 可 测 的 函数 fo(z), 使 
W(Z) - E(W (-f4(Z) -2)|Z) -intE(W (-a—2)125, 
因此 对 任何 fE.7, rl 
e) - BW CSZ) -2)) 
~B{BIW(-f(2) —2) |21} EW (2) ~p(fo). 
故 不 论 矿 -co cV oo, We 
V -V (P, W)= inte(f) -& (9. (3.10) 
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现在 设 m 为 自然 数 ,定义 测度 Pw 如下. 
/ Pa(A) - P(AD (2: |a] m), 
又 设 (o, m) 为 集合 do: la] cm) 的 示 性 函数 ,这 时 对 任何 7E 
E(h(z, m)W(-f(2) -3)|Z) 
-| FC OD -5 PG, di). 

根据 引 理 3.4, FE Borel 可 测 的 函数 fm), 使 

W.(Z) -E(h(u, m)W(- fa) -2) |Z} 

-int E(^(z, m)W(—a—2)|Z). 


同 导致 (3.10) 类 似 的 推理 可 得 | 
Vn—V (Ps, W) —-p(fa, P», W) ~ BW,(Z). — (8.10) 
H3] 8 3.2, 知 Wal) IW Z), m->co， 根 据 单调 收敛 定理 ,有 
lim Vn = lm EW,(Z2) = EW (Z)=V, 


由 引 理 3.1 知 V.-V (Ps, W), BEAR 
F-VP, W)2V (Pu, W). 
综合 上 述 结 果 , 即 得 
VV (Pm; W) =V nV (m>), 
BVLV, BuTVVLV,1V-V. B EXRUEBDWDEHSOR 
有 转移 性 质 的 位 置 参数 的 minimax 估计 可 取 为 3+jo(2)， 定 理 
证 完 . 
X1 如 果 参 数 不 是 全 空间 R, MERATE, REZE O 
Nn. - 
yno™ 

定理 仍然 成 立 ， 这 里 Sz= 得 :10| 过， 为 证 明 这 一 点 ， 只 要 将 
引 理 3.1 的 先 验 分 布 取 成 Sene 上 的 均匀 分 布 即 可 . 

X9 WO 是 严格 凸 函数 ， 且 存在 风险 有 限 的 估计 , WE 
变 的 minimax 估计 是 唯一 的 。 

例 3.1 4 X-—N(p, A), 4>0 已 知 ,而 wEB 未知 损失 


0, 





ER 32g W u-d, W (0) 949 t eg 3c, 而 且 是 0 各 变量 的 对 称 函 数 ， 
W(8)—9o(18|—299). M v Æ u WE minimax 估计 .为 此 , 根 
据 定 理 3.1， 只 要 证 明 c 是 平移 群 下 的 最 优 同 变 估计 . 易 知 , 任 一 
同 变 信 计 形 为 x 十 0, O c R*, 其 风险 函数 为 
pO0)= HoW (e 4+0) = (2x) ~? (det A) 13 
x IW i-o) exp | -3747 Jas. 
由 WO 的 凸 性 得 o(O) 是 C KNEA. 由 W (0) 的 对 称 性 及 
exp[—9*4 7y/2] F y 对 称 ,得 gp(0) 是 C 的 对 称 函 数 , 因此 
p(0)< [p(C) - p(—-O )]/2—o(0). 
这 就 说 明了 zx 是 最 优 同 变 估计 . | 
pj3.2 t X~N (u, A), ERF, 4>0 — 要 求 估计 
L, TRA SU W (u-d) A * (Qu —d)) , SET. £20 W (0) jé t Kap 
MEE, H W (2) Him W G), Jl e 是 在 平移 群 的 最 优 同 变 佑 计 ， 
也 是 minimax fiit. | a, 
首先 假设 4 已 知 , ARAA a+, 其 风险 函数 为 
pO = E{W ((@+0-u)"A™> (»-C —w) |o, Aj. 
令 卫 为 正 交 变换 ,化 4 至 主轴 , 具体 地 令 
gy ce 0 


PAP =| B7. id 


0 Ds 
Zz-| ; 7 i | Pæ), 
U^ du un 
c -| i Es É PO, 
Q^ wg Nan 











(0) = (22) * (des (A)) A mE 
x, WL@+0-p)"A a +0- n)] 
x exp[— (2—/)"A1(o—p)/2lde 
= Qux) | waz--aeset- 121/2142 5 9 (0). 
Jn p (ON 为 球 对 称 , 因为 对 任意 的 正 交 变 换 @, 有 
pCO) = (2m) a| W(42--Q0' j»e-v?az 
diat Ded 


~ 25) | wgsope-wrnay- gc. 
EALE SLAAN TIR S3 
PACD- - e [. [w( 3st y+ 1o?) 
-W(ig[?)]e7 "dy | 
e (2gp) -*/? (| 


SE ood 
yi» —1C'1/2 91*—16C'1/2 


[w( È i+ (e 10D?) Ady 


mema] "(2 e -lop)-wdqam] 
xetends- (ax) wA [ly c 


E ál > y; d lyt D?) e "7 ay 3 
= (27) ws 


Iw( Sy (y+ Ic'D*)-W (ufo | 
Pi [ 名 ye Gil] ^. d 4 


yi «1C 71/2 


x [g i72 eus dyz0, l 
Es W (1, 而 exp[ 一 让 /3 (4 t>0), 所 以 p(0)>p(0). 
这 就 说 明了 % 是 最 优 同 变 估计 ， 根 据 定理 3.1， 它 也 是 minimax 
估计 .由 于 > 与 4>0 取 何 值 无 关 , 风险 函数 也 与 4 无 关 , 因此 在 
«997 *' 





A 未 知 时 ,结论 仍然 成 立 .- 
例 3.3 ik y—«8--s, e N(0, oI) (neX), 上 为 B 的 维 
数 ，z 已 知 而 且 w'w>0，BE Rr 未知 ， 要 估计 损失 函数 为 
W((8—4d)/o). 
假设 WX, HOW-t ?-WQ), 则 最 小 二 乘 估计 
B= (22) -wy X B lj minimax 估计 . 
证 明 (y-e8)"(y—a8) 
—[y—-zc(z*c) x "y 4-2 (2*2) c Tg — L.eB]* | 
X [y -s (s7 s) syto (sw) oy —v(8] 
=y" LI — ea) 0 LI 2 (272) wy 
十 [(orp) "vy — p] zalew) wy Bl. 
在 已 知 o? 的 条 件 下 ，(w"w) -3z"g 是 充分 统计 量 以 及 厂 (0) ON PR 
数 ， 由 例 3.1， 在 平移 群 ，(% x) Tw *y JE £ 前 最 优 同 变 估 计 ， 人 也 是 
minimax 估计 .和 但 
E(W (C272) v *y— 8)/e) lo, B) 


= (2m) 2| W (g)expL ywrny/2]dy. 


它 与 o 无 关 ， 因 此 在 未 知 o 时 , 一 (ww) -wwy ti minimax 个 
H. | 


$4 位 置 刻度 参数 最 优 同 变 估计 的 minimax 性 


在 这 一 节 将 讨论 与 上 节 类 似 的 问题 .只 是 分 布 函数 和 人 参数 有 
变化 . 证 明 的 思路 也 相似 . 

BMI X= (Xi co, X) P((—80)/o). 我 们 的 
问题 是 根据 从 到 的 抽样 结果 来 估计 未 知 位 置 参数 OOE 严 和 刘 
度 参 数 c>0. 样本 空间 的 变换 群 是 仿 射 群 乡 = {l(a, 5):a>0, 
DERS. HF Vg€ 9, 9 一 az 二 0， 出 此 群 诱 导出 参数 空间 
((c, 0):070, 0€ R*) 的 变换 群 罗 = 乡 对 于 YE 多 g(o, 0) 
= (ao, a+b). 知 佑 计 的 损失 函数 采用 W (di/c, (da—0)/o), 
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则 当 行动 空间 也 采用 相应 的 念 射 群 多 *== 多 时， 我们 的 统计 判决 
问题 不 变 ， 
(c, 0) 的 估计 (7 (ce), 玉 (e)) 被 称 为 同 变 估 计 ， 如 果 对 于 任意 
的 9gE 乡 下 式 成 立 : 
U (g2) =U (aœ+ b17) —aU (x) = g'*U (2); 
V (gæ) =V (az +b) —aV (z) 4-b—9'V (2). 
$ (Uo, Vo) (Uo>0) 是 任意 给 定 的 同 变 估计 ,对 于 (a, 9) 的 任意 估 
计 Ule), Væ), 我 们 定义 
S (2) =U (2) /Uo(2), r(z) - (V (@) -Vo(2))/Uo(2). (4.1) 
WAU, V)5(S, 站 形成 一 一 对 应 ， HEU), V (2)) Pus] nie fih 
i, 则 
. S(go) — S (az +517) = S (2); (4.2) 
r (ge) —rm(ac-- bi") —r(z), 
Xi Vg€ € vi sr, WMS), r(2)) 在 上 述 念 射 群 变换 下 是 不 变 
的 . 记 为 所 有 这 类 统计 量 .对 任意 由 5S(w)、7 《2) 对 应 的 加 (2)、 
V (2), 其 风险 函数 为 i 


p(S, mi o, 0) a [w( 2. Yee yap(2—87 ) 
E Í.. WES (oy--61)Us (s), 


r (oy - 00) Uo (y) -Vo(y)1aPQ). : 
V-VCP, ma inf sup p(S, 7; c, 6; P, W); 


B,r)€$4 (0,0) cO 


d 


=V (P, W)-inf sup plS, r; o, 06; P, W); 


(8,r) (0,0) EB 
V -V(P, W)- sup t | pC, rœ, 6, P, W)dG. 


此 处 G EO, 0) 的 先 验 分 布 , @ 是 参数 空间 (070, 0€ Ry, 为 
了 讨论 简便 , 下 面 仅 考虑 =1 的 情形 ， 不 难 把 结论 推广 到 一 般 E 
的 情形 . | | 
ee 
Wa, t) 在 日 上 连续 , 车 了 有 概率 密度 ， 则 仅 要 求 
。 389 « 








m) EO 的 任 一 闭 区 域 上 有 界 ， 
. WG, 0) =0, 
， 当 去 >0 确定 时 , W (4s, ta) E toO JEI, Æ 0220 非 降 ; 
在 ， ta ied W (&, ta) Æ Ot, «1 JEN, E 65271 非 降 . 
43. W (h, 12)—0o, 4 ttt |t | 0o 一 致 成 立 ; 
42. W (A, ta) >00, 14 tj | i| o Gl im (5 — 1)? 02); 
4s. Wa, t)3E O LÆ, Wi, ta) a<, siio 
一 co 一 致 成 立 . 
dd A= {pism mn, Wb LA DM AR HE SR, 我 们 假设 
P(A) =0, 对 此 ， 可 选 (od 


Uo(z) = Pure |z;—2,], Vole) =a, 


如 果 P(4) >0， 易 见 在 条 件 私 下， 任何 估计 的 风险 为 co， 若 
P(4)>0 H PASSES, 在 条 件 43 下 也 可 证 明 最 优 同 变 信 计 
存在 ， 且 为 minimax fil. 
引 理 4.1 设 PC4)=0, BEE m, 使 
P((Uol®), Vo(2)) € E,|1, 0) —1, (4.8) 
此 处 Ey — (5, ty) mm «tmm, | 加 | m). d 
若 损失 函数 满足 假设 2"、8" 及 4" z—, Wa, t) 在 有 界 区 域 上 
AR, WV =F. | | 
证 明 由 (4.3) 式 ,有 
PauUo(s), Vo(2z)) € E,]1, 0) 


p (Zoe, Fo? 9) Cz, lo, m} 


= P(Us(o) /m«omUs(2),'—om 
«0 —Vo(2) «om|o, 8) =1. 
于 是 更 有 | 
P{U (E) /m«o«mU«q(z), -mUo (x) 
«0 —Vs(z) «m?Us(z) |o, 01 —1, 
所 以 有 理由 猜想 (o, 人 的 优良 估计 应 满足 关系 C 


e 3880 。 








Us (2) //mxU (2) <mUo (2); 
IV (æ) -Vo(2) | &m?Uo(o). 
ERMS), re))E 古 ww、 现在 来 证 明 其 优良 性 . XP (o, 9) 的 任 
iH U), VORHER S w), rw), EX 
Sæ), r(z)), (S(z), r(z)) € Ems 
(S* (s), r*(2)) = | Sæ), r) 到 E 的 边界 距离 最 
0 UNIS S, (S), r(z)) € Em, 
pine EGS, T) € Es 
时 , (S, v) 4 9L FP I VIII - 
o 显 见 , 当 
(S, r) € I. II, III, 


(4.4) 


=m? Sr 





时 ,有 
frUo(z) --Vo(z) 人 Do(w) 十 Vo (a) zm4- Ko (a) 20, 
MS, 7) EILIV, V.S" »^m*«S, 有 3 
SUo (2) >S Uo) 22 mzi, 
当 (S, r) C V. VI, VII, r'—- —m?zrm, 有 
rU (2) -Vo(2) «r'Uo (2) --Vo(z) « —m--Vo(z) «0, 
MS, r) € VIL VII I Rf, 8'-m28, 有 
SU (x) SSU o (s) «m^«1, 
再 根据 W (65, 55188 3" 的 假设 , 故 在 各 种 情况 下 ， 
WUSUs(g), rUc(y) -Vo(g)1 
. >W [S'U (y), r'Us (9) -Vo(9)1. 
因此 , o(8, rio, 6; P, W) Zp(', r5 o, 0; P, W), 这 就 证 得 了 
(S*, r') 估计 的 优良 性 . BY 的 定义 知 ， 对 任意 的 s>0 及 
T1, FES, r) RAER, r ) 使 得 先 验 分 布 G dE Er LE 
(4T log T) -1 d9 do /o Hj, 


V --ez (4TlogT)^[. p(S v, o, 0; P, W)dédo]a 


mTloT)*| ps, vo, 6, P, W)dó do /o 
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~ (4T log T) sl aP[. WC, Jd da/o, (4.5) 


ERAWC, FEEN (Oey EETU "(oy-r- 01 )Us(y) 
十 Vo(y))， 我 们 又 可 得 | 


J, WC. 2d8de/o 


f do | We "dis PEEV oly) 


— —— 


ry! Gg —T—ocVe(y) 


Us GT T—oV«QG) 
mj ers e racer VO 2487 eruv) 


DT!  oJ-T-oVe«Q) 
— 2T WiogVovy) | | | 
>| WC, 2d6de/c—4T Mm, ^ (4.0) 
这 里 E (c eU Qu eV) CES. 0 
M= sup 二 W(&, ta) 


Cti: ta) E Em1) 


>sup W (S* (og - 01) Uy), roy 0t.) eV) 


其 中 用 到 了 (4. 3) 的 事实 . 再 作 变换 二 iau +9, 
于 是 
f WC, dI do/o 


-j WSE), ria dbda/a, 


这 里 Sn) -s(t +e- Tr) 


、 GV oly) * 
ra) or t p)" )- | 
对 于 固定 的 a, 0 都 是 不 变 统 计量 , 它 对 应 的 UO), V* Cy) Fi 2s 
titt. EMEN | 
注意 : 


(4T log T) aj aPf W (*, -)d6do/a 








— (4T log T) -: | aP| w (Sz, (y) Uo (y), 
Ti o (9) Uo() + Vo(g))db da/a 
> (4T log T") s db da /a 


x [W G2. (9) Uo (9), ri. (9) Uoly) -Ve (y) )dP 
> inf [W (Sz, (y) Uo), raUo) -Vo(g))dP 


> unt JW G)Us(), rU) +VAT, T) 


由 (4.5) (4.6) (4.7 Ag | 
V 52V —TMm/T log TV (4 Too). 

HH etah, AVIV. 另 一 AW, X BASYAVAY, 故 
了 VV. 至 此 引 理 得 证 . | 

5132 4.2. 1) W>0#£0 rx, W(0, t) -oo, W(t, 
妇 ) 一 coe 对 titt + |t | 5o 时 一 致 成 立 . 

| 为 定义 在 日 上 Borel-o 域 上 的 测度 , HIAR Borel 集 B, 
p CB) «oo, W 


inf | W (ats, bti + ta)dp 


m-es (8,5) ED 


- inf (W (at, bt+t)dy, (4.8) 


: {0,8) 
2) WE W01E6 kÆ, W(&, h)a, 944 ]|5|— 
oo 一致 成 立 , 则 (4.8) 式 仍然 成 立 . 
证 明 我们 仅 证 明 1); 2) it 故 省 略 。 不 失 一 
般 性 , m 取 自然 数 , S 


bala Byes -| W (at, b&--1,)dy, 


容易 验证 bmla, DEO LEE. 不 失 一 般 性 ， m (8) 7-0, 从 
而 存在 mo， 当 m>m h, uE, BUTPABWEW (Rh, 5) 
co, Mi ttit |ta| >20 时 一 致 成 立 ， 因此 hala, 5) 只 能 在 有 限 





Hi Cam, Dm) ECO EIEN. di Cas—h5(a», bm), 显然 它 是 的 
单调 非 降 函 数 . 极限 Co 一 Cs 和 co 一 ce) 存在。 记 
h(a, b) =| wt, bit ta) dm. 

显然 有 | | 
C-lim O,« inf hla, b), (4.9) 

mz . (œb) EO 
车 O=ce， 对 (4.8) 式 已 对 , 车 O «oo, MEEK E {an aso 
1) 为 有 界 ， 否 则 ， 若 它 为 无 界 序列 ， 不 妨 可 设 它 趋 于 无 穷 ， 当 
m>=mo, p(En)>0, 使 用 Fatou 引 理 可 得 

| 997-0 —-limO,, lim hn (Gm, bm) 


>f lim inf W (as, bmttto) dum= oo0. 


这 就 出 AUT. it (n, bm AR, 不 妨 设 (am, bm, )—> (40, bo) ce, 
对 任意 确定 的 了 ， 当 mx 之 了 时 ,有 


j, W (amti: Dm ti 十 ta) due], wW (am fs P buta + & di 


0, «0 «oo, 
先 令 meoo, EZ Too, HERRER (mo, bo) 入 C。 再 对 照 
(4.9) 式 , 即 可 知 (4.8) 式 成 立 , 从 而 引 理 的 四 成 立 . 
引 理 4.3 Æ u ÑE 904.2 的 要 求 ;而 且 
dj = g (5, ta) dí dis, 
则 当 玉 在 有 界 区 域 En FER, SIA 4.2 的 结论 仍 成 立 . 
明 . 如 同 证 明 引 理 8.8 那样 ,用 多 维 Ruzin 定理 可 以 证 得 
hmla, b) Jk a, b 的 连续 函数 ， 再 用 引 理 .4.2 的 证 法 ， 即 证 得 本 引 
引 理 4.4 ^ P(Z, B) o5 2x Z 5 Z, BEZ nes 
概率 , 又 设 引 理 4.2 及 引 理 4.9 的 假设 成 立 ， 则 对 任意 0m-« oo, 
有 Borel HP RR (a (Z) , bm(2)) 及 (a(2), b(Z)), 使 得 
W (as (Z)ts, b, (Ž)t tta) P(Z, do) 
i -nf |, (ata, bisti) PCZ, do), (4.10) 
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[ wc. b(Z)t-&5) P(Z, de) 


= inf JW t, btt) P(Z, de). (4.11) 


(G,b 


”此 处 de 系 指 对 (b. ta) 的 测度 而 言 . 

证 明 完 全 与 引 理 3.4 相同， 故 从 略 . 

定理 4.1 若 损失 函数 满足 1*~8" 及 4" 中 之 一 EP 
二 测度 有 密度 ， 可 不 要 求 三 全 ， 二 连续 )， X P(A]O, 1-0, W 
存在 位 置 、 刻 度 参 数 的 最 优 同 变 估计 ,而 且 还 是 minimax fii. 

证 明 在 局 定义 函数 : 

Z (2) = (is, Bgn (ti — 21), (Ci — 0) / (m, — E j=2, =, 9), 
i,— min(j|[2,**2,, j—2, =, n}, ZO) 显然 是 在 仿 射 群 gz 下 的 最 
大 不 变 统 计量 ,2 (%) 是 Borel 可 测 函 数 . 因此 若 (S, r € 4, WW S. 
KJS), r(Z(2)). 

4 P(Z, B)j&p A Z, U), Vo(2)) EB 的 条 件 概率 固 
定 Z 后 , 它 是 概率 测度 ; 固定 B Ji, 它 是 2(%) 的 Bore! 可 测 函 数 ， 
uS, r) cJ, WA 
Er{W [S (X) U. (8), r(X)U(X)+V(X)1|Z} 
= Ep{W [S (Z)Uo (X), r(2)Uo (X) +V(X)]1[2} 


=| WIS Zt rGDteetlPU, do), 
根据 引 理 4.4， 存 在 Borel HIMAS ro), K 
JL PIS QD, rohatt] P, do) 


ss dnd | W (at, bitt P(Z, do), 
(0,05)c9 J9 


因此 对 任意 的 (S, DNES, 我 位 有 (6 
aS a eds 1 WIS(Z)4, r(Z)t 3] P, do) 
>Er ([WtSs 0t, n (6-51 P(, do)} 
—p(S r) - V -V(P, W). 
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其 次 对 正 整数 m, 定义 测度 
PaO) - P(C n io: (Uo(2), Volz)) E Enh). 
4 hlz, m) 为 (2: (U), Vo(2)) EEn) 的 示 性 函数 ,对 
(S, DES, 
Epih(z, m)W [S(Z)Uo(z), r(Z)Uc(z) -V«(2)1|Zt 


=| WIS(Z)h+r (Dt HS PG, de). 
由 引 理 4.4, 存在 Borel 可 测 函 数 (Sm(2), rm(2)), 使 得 
Wa) |. WSZ) es (25-681 PZ, do) 


= inf W (atı, btt 12) P(Z, dæ) : 


UDEO Em 

与 证 明 V =p 80, To) 同 理 可 得 

Vn=V (Pn, W) -p(Su, ro, Pa, W) ^ E»(Wa(Z)). 
根据 引 理 4.2, (2) 5 W (Z), 34 moo 时 WC) 是 中 的 单调 
非 降序 列 ， 由 单调 收敛 定理 , V (P, W)>V (P, W) (m>), 
EREA V (Pm W) -V (P, W) «V (P, W), 由 引 理 4.1 及 
V2>V 一 上 所 以 

(U(E), V (2)) = (oo)So(z)，Do(e)yro(z) 十 Fo(ow)) 
是 (o, OKERRAZ minimax 估计 ， 于 是 定理 得 证 . 

利用 这 个 定理 立即 得 到 在 $2 问题 3 中， 由 (2.12) 与 (2.13) 
所 确定 的 9、o 的 最 优 同 变 估计 在 所 述 平方 损失 下 E Æ minimax 
da. | 


$ 5” 同 变性 与 充分 性 .不 变性 与 充分 性 


" 

本 节 讨 论 同 变性 、 不 变性 与 充分 性 的 关系 .众所周知 ， 依 赖 于 充分 统计 
量 的 随机 化 估计 组 成 基本 完全 类 , 进一步 假设 损失 函数 是 凸 的 ， 则 依赖 于 充 
分 统计 量 的 非 随机 化 估计 组 成 基本 完全 类 ， 这 自然 产生 一 个 问题 : 依赖 于 充 
分 统计 量 的 同 变 估 计 类 是 否 也 是 同 变 估计 的 基本 完全 类 了 呢 ? 与 此 类 似 的 问题 
是 : 依赖 于 充分 统计 量 的 最 大 不 变 统计 量 , 在 不 变 统 计量 中 是 否 充分 的 ?这 是 
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两 个 基本 理论 问题 ， 本 节 介 绍 我 国 数理 统计 工作 者 [3] 及 Stein 的 有 关 结 果 . 

本 节 假 设 样本 空间 为 (E, Ba, S), P={Pa 0E O}, 9 为 样本 空间 变 
换 群 ,由 9 导出 参数 空间 变换 群 多 ， 在 行动 空间 导出 变换 群 9 ， 有 .9 ”分别 
与 乡 同 态 ,在 这 些 变换 群 下 , 统计 判决 问题 不 变 . 

现 设 4z) 是 (有 a, 多 的 一 个 充分 统计 量 , 其 值 域 空间 为 (7， Ar), 由 
导出 的 分 布 族 记 为 97—1P7, 0E @}. | 

为 使 依赖 于 二 的 同 变 估计 类 有 意义 , 必须 假定 对 每 个 9E €, XE t+ 的 值 域 
， 搬 导出 一 个 一 一 对 应 变换 , 即 要 求 (2) —3, H 

t(x) =t (x) t gr) =t (gr) H Vge€ * pv. (5.1) 

EBRE T HERJE, 在 了 相应 导出 一 个 变换 2 如 下: ER tes, f 


在 ET, tao =to 有 
Jio =gt (14) =t (gza). 


引 理 5.1 在 上 述 假定 下 定义 的 9 有 

1°.g 是 了 到 了 的 一 一 对 应 变换 ， 

2°, g^1—(g) 5, 192 94°g2; 

3°. $—1g:g€ 4) X53 9 REGERE. 

证 明 1^. ERHET, 找到 To tE tlt) =t i0 29—9 xo, fot (20), 
Wi] gio=i (gro) — (xo) =to, 因而 知 gf —. 7. ES fe to, H momo TË £0) 
=to i(x5):io. Æ t(gmro)-i(gxo), 由 (5. 1) 知 1(g-1gz0) —t(g^ ga»), BU 
to =t (x0) =t (25) 一 如故 9 是 元 到 也 的 一 一 对 应 变换 . 

29. ER tom 9, (gto =t (g To): =t, 存在 To, 23 使 t(s) — 1o, £(21) 
=t, il(g xo eei), 由 假设 (5. DAI 

to=t(%0) =t (gg 120) gt (g^ 1zo) = gg to. 

由 力 的 任意 性 知 g 一 (二 对 任意 的 ota) ET, 有 a: fo — t (919220) 
=g t (J280) 7 gi: gat (29) 91: goto H VET 成立, 故而 91'Y2 一 9192， 证 得 
2°, 而 3° 是 2° 的 直接 推论 . 

为 了 讨论 以 后 的 问题 ， 有 必要 引进 测度 论 中 的 Blackwell 定理 及 其 必要 
的 概念 . 

定义 5.1 ACBUBOS Ri 中 的 解析 集 , 如果 它 是 B 中 一 个 Borel 集 的 
投影 集 , 即 存在 H?Borelf& B, 使 

A-LJiz: (s, y) EB}. 

EX 5.9 可 测 空间 (8g， 94) 称 为 Blaokwel 空间 ， 如 果 Sa 可 分 ( 即 由 
可 数 个 集合 生成 的 最 小 o R), 且 对 (2 22 C7, 9) 的 每 个 可 测 毅 数 了 和 
fr A€ta, f CA) R 中 的 解析 和 集 . 

定义 5.8 (2, Ze) 是 可 测 空间 ,对 VX c2, 定义 
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X= 


zE B, BEBS ” 


此 集 称 为 Bg 的 一 个 原子 。 EET ROS, Gao 一 (9 20 B, 显然 ,Xo 一 
{z:7(z) = 二 T(z0)} 是 TT1(Bg) 的 原子 ,VXoE 22. 

在 上 述 定 义 下 ,有 如 下 两 个 重要 结论 : 

引 理 5.2 iE (7, 4a) UK KW zx [B], Sa 为 Borel xx, Wü (2, Ba) 是 
Blackwell 空间 . 

引 理 5.3 (Blackwell 定理 ) 设 (和 Za) Blackwell 空间 Z1, 82 是 Ie 
RJ F o 3X, H. 及 可 分 , 则 

9,C 22€, 的 原子 是 2 原子 的 并 。 

这 两 个 引 理 的 证 明 见 [1], 此 处 从 了 略 . 

引 理 5.4 假定 

1) (7, Ba) IKREN, Fæ 为 Borel 集 组 成 的 . 

2) T HC, Ba, 908935 £i I, 4.4 可 分 ， 且 包含 了 的 任 一 单 点 作 
为 原子 . 

则 对 任意 的 gE 9, 有 


9T 1(85) —T (25), (5.2) 
995 — ds, (5.3) 
Pi (gB)=P; (B) 对 VOEO, Beds, (5.4) 
WEB] 首先 验证 下 面 的 等 式 : 对 Vgc 9, BC, 
T-3(gB) —gT-1(B), T(gT-1B) =g(B). (5.5) 


事实 上 , zcT 1(gB)eT (x) €gBeg T(E) € BeT(gis)cBeg!sc 
T3(B)ez€gT-X(B), 

X &€T(gT1B)ediftascT3(B 1E to = T'(gzo) ff TE Xos T (20) € 
B,gT (29) —19€9g "tq Best; Eg (B). MME (5.5) x. | 

现在 考察 由 S Ba) 到 C7, 25) 的 两 个 变换 T(z) 及 T(g^72, 它们 在 
《2 怪人 中 导出 的 o 域 分 别 为 
41—T (Bg), B=gT 1(2,).. 

由 于 g 和 了 在 各 自 意 义 下 的 可 测 性 ， 故 级 与 s.p Sx UIT c i. X Isy 
Wy, dA. Ju RIA. XH gz 包含 了 的 一 切 单 点 集 , 故 更 的 任 一 原子 有 
{xT (gE -tok (i0 EF) 的 形式 ， 级 的 任 一 原子 有 {rT a) =to} (io EF) 


的 形式 . 记 刀 一 gfo， 易 见 节 :了 9 种 ) 二 如} = {xT (a) =t}, FÆ W.B 


原子 必 为 入 的 某 个 原子 ， 根 据 对 C3, Ze) 的 假定 和 Blackwell 定理 知 HS 
Za, 由 9 的 任意 性 及 9 为 群 知 BE ERM, B 234—425, (5.2) RZ. 
UU BEZa, f gT 1(B) €gT (25) —T3(25), 故 存 在 BLEZBy， 使 
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1-108) 一 9FIB)， 再 由 (5.5) 得 Bi 一 下 (全 -i(BD ) - T (g9T-(B)) - g( B5, 
Hifüg(B)€4s. 由 于 9 为 群 ， 这 就 证 明了 (5.2). 

最 后 由 (5.5) 知 ， 

PT, (gB) —Pg(gT(B)) — P(T-1B) =P} (B), . 
故 (5.3) 式 得 证 , 至 此 引 理 证 完 . 
. 引 理 5.5 设 引 理 5.1 及 引 理 5.4 条 件 成 立 ， 了 为 充分 统计 量 ， 记 
PC 上) 为 给 定 T=t 时 2 的 正则 条 件 概率 函数 , 则 它 是 几乎 同 变 的 , 即 对 Vg 
EY, 存在 N,E98g, F(N )=0, E. 
P(gCO|gt)--P(O|t) 3$ VCGBe, tEN,. (5.6) 

证 明 考察 定义 于 ex EBUHSÉRQCIDO-P(O|g), BR, «x 
t 时 , QC 12) 29 Ze 上 的 概率 测度 ,由 引 理 5.4 知 给 定 i, Q,CO|£) 29 Se 
可 测 . 根据 (5.4) 与 (5.5)， 可 证 明 对 VBE3m CC s, 有 


[eC 1020 = | Pgolgt) Pisagt) 


= Pye (gC N T? (gB)) = Polg *(gC NT 1(9B)) 
—PQ(Ong 1T (gB))- P(CnT^(B). 
: QC: ) 也 是 给 定 t 时 2 的 正则 条 件 概率 函数 . BON VOCBs, 存在 
No, E 9*(N,0)—0, H 
3 0€ N,cRi, P(gC|go =P). 
将 一 切 形 如 (os) 的 集 (其 中 ?为 中 的 有 理 点 ) 排 列 为 Cl, Ca, …, 令 
N,= Ü Nao, 则 PT(N,)=0, H 
当 t€ N, 时 ， 了 (9Cn|9t) = P(On|t) (ne=1, 2，…)。 
由 于 POC gi POINDRE «a 上 的 概率 测度 ， 由 测度 扩张 唯一 性 定理 推 
得 (5.6) 成 立 ， 从 而 引 理 得 证 . 

上 述 几 个 引 理 可 使 我 们 断言 : 依赖 于 充分 统计 量 的 几 平 同 变 随机 化 信 计 
组 成 几乎 同 变 估计 中 的 基本 完全 类 . 但 为 了 进一步 取消 “几乎 ”二 字 , 同时 也 
为 建立 几乎 同 变 估 计 与 同 变 仿 计 的 联系 ， 需 加 强 条 件 作 进一步 讨论 . 

引 理 5.6 假设 

i) (2, 多 @) 为 可 分 空间 ,和 且 单 点 集 可 测 . 

3) €. STAJICE, a). C9, 有 7) 上 的 可 测 变换 群 , 且 多 与 IAS. 在 
9 上 也 引进 c- 域 结构 2, 及 其 上 的 ac 有限 测度 满足 条 件 : vE, HERH 
GEI, 有 GsEZ, 及 v(G)~v(G,) 关 于 VygEg 成 立 . 

ii) 0(gC|gt)X] VO € Za EKF 4, x 2s 可 测 , 且 满足 

é(gC0|gt) —-o0(C|t) X Vie N, KOES, 


; 
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这 里 s^(N—0, N, 5 和 无关, Boe RIVE) edi. 
Wiefro*(.|D33€ T 乡 同 变 的 , 即 对 于 Vie 9.0 € 2a, gE v, ò Gee] 
gi) =ò" (01t). MEHR P ZWE No 24 1€ No H 9" (0|0) 800 | DS 
VC Cds WiL. 
证 明 ”考虑 函数 
| a(g, t) - 990. | gb) — - 0,15. (5.7) 
这 里 16.) 的 意义 与 引 理 5. 5 中 的 相同 . 由 ii). Q«(g, t) XT a, X d, 可 
测 , 于 是 
s E, ((g, t), Q.(g, 0:0 € 2, x ds. 
对 固定 的 g, HFP: Y, D € E.) -0, 记 


Na {i:v(g:(g, t) € E,)--0], N= UN. 
运用 Fubini 定理 ， 即 得 97(N,)—29T7(N)—0, XHF v0, "为 cx 有 限 测 
度 ,不 失 一 般 性 , 可 设 vC) 1, Plin g— L| gw (0d RETE, nE 
>(g0>0 GEB, SKOS 3g 3)/2(0), 而 后 定义 


fg, D= È || scgenlgdav(g) -coon 


Re: | fCg, 037) 0]. 


MIM REI 我 们 先 指出 PT(R)=1, XHE— 19€ N, 由 于 o(gC,l gt m 
&(0,|i9), a. s- v(n—1, 2, =), 由 此 a. s. v 成立 着 下 列 等 式 : 


f dy'0,lgt)av Cg) MeO.lgt) (m-1,2,-9. (5-8) 


从 而 显 见 f(g, to)=0, a. s. v， 即 如 ER, NB RO5—N, 自然 97(R)=1. 
再 由 ER 可 使 (5.8) 式 a s.v 成立 ， 而 Ze 由 OC1，02，…, 所 生成 ,利用 
(Ba) 可 分 及 测度 扩张 定理 知 ， 存 在 2 零 测 集 M, RAEM, HTE 
CESa RE 


f, acg'olgi ar cg) co gto). 6.9 


现在 再 指出 为 群 9 的 不 变 集 ， 即 对 于 任意 的 goE $4, goR— R, MEX 
t€ R I, 证 明 妇 二 gotoER， 对 于 任意 的 CEBs, 令 0=goD. 利用 假设 ü) 
dv (g) dv(ggo) 及 (5.9) 式 ,有 E 


f, à(g'C]g'todv(g') = | 6(g'goD| g'goto)dv(g') 
= | dcg" Dlg" dg") ogDlgi) = dCgg5'C gg") (6-10) 
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对 6M, Mil, dig Mogg; € Mgr, lit ii vM) =b goi) 
—0, 所 以 (5.10) 式 左 端 就 等 于 6(gC1 gi1)( 当 gEMgs'), 再 令 C 取 Cs Cs, 
…， 即 得 f(g, 4-0, a. s.v, AHER. Tf go 是 群 9 的 任 一 元 素 , 所 以 
B 为 不 变 集 . 

现在 开始 引进 ò, MT 1€ 8, $ 


ar"(CI=| og01gDav(g) cem. 
因为 对 于 Vgo€ 9, C€ S4, (CR; 由 于 dv(g) -dv(g9g), RE 
ó* oC | goto) = fo 《9 9oC | 9 goto) dv(g') 


-| dg"C1g "ad (g") —-8* (C |t). 


从 而 知 : 对 于 te R, 5* 是 同 变 的 . | 

SEXT 1€ 0— R, 构造 6*, 先 建立 一 个 由 I-RE] RUER- 
一 对 应 ) 如 下 : ER bET- R, KER. 4 gj 对 应 gio ges. In I-R- 
{gto gE N 是 非 空 的 ， 则 再 取 其 中 一 个 点 t 令 gt XE RE gto, JEL, 依 此 作 
下 去 , 必要 时 应 用 选择 公理 ; 可 以 构造 出 由 0— R 8| 玉 的 一 个 映射 记 之 为 
h, Baer-R, 显然 , h(ga) -gh(a). 再 定义 

ó*(0|t) -ó*(C|h ()) | G4 £€ R), 
注意 ; ROER, 从 而 当 tE 吾 时 ,有 
8* (gO | gt) =ò" (gO | K(gt)) =ò" (gO |gh(t)) —8* CC]h Q2) —* (710. 

这 就 得 出 5* 对 于 tER 时 也 是 同 变 的 .， 由 引 理 对 8(.|.) 的 假定 ,也 易 知 , 对 
FHRA t, (CI) 是 gw 上 的 概率 测度 。 MOES 9*(0|-) 78 4» 可 
测 函数 | | 

最 后 ,在 (5.7) 式 两 端 对 v 积分 得 : 当 EN, tiER 时 ,有 


0- {nCg', 0d»g^ = f 839'0n) gD av (o) — 0,10 


=0* (Canl) -ó(C,|]t)  (n-1, 2, =). 

而 PT(N)=0, PT(R)=1, id No,- NU(£—R), HEADER 
8*(0|t) -8(C|t) (H t€ No Bb), 
至 此 引 理 证 完 . | 

PEDI 对 于 不 变 统计 判决 问题 , 假设 引 理 5.5 的 条 件 成 立 .行动 空 
HARKESH, Zr 为 其 中 的 Borel 集 所 组 成 ， 则 依赖 于 充分 统计 量 的 几乎 
同 变 随 机 化 估计 是 几乎 同 变 随机 化 估计 中 的 基本 完全 类 . 若 进 一 步 假 设 引 
理 5.6 记 成立 ; 则 依赖 于 充分 统计 量 了 7 的 同 变 随机 化 估计 是 同 变 随机 化 估计 
类 的 基本 完全 类 , 
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WB 设 6 为 几乎 同 变 估 计 , 以 PCÓOGUnGE T= B o thtt EMI 
条 件 概 率 函 数 ， 定 义 依赖 于 ;的 判决 函数 
5DID)=| à(DIz)P (zl), VDES, te». 


AXPUR A, S89 DUEORSUS ò 的 风险 函数 相同 ， 故 证 明了 5 为 几乎 同 变 估计 
后 即 得 定理 的 前 一 结论 。 任 给 gE 多 根据 引 理 5.5 的 '(5.6) st, 存在 
N,€425, ST(N,) =0, 使 P(C|t) «P(g Cg) (QutcN, YCEZa 时 ). 
再 利用 定理 对 (2，52) 的 假定 ， 由 6 是 几乎 同 变 估计 知 : HER M, E Sar 
| 2(M,) —0, 使 
à(g*A|gz)—ó(A|z) QuzeM, ACH). 

ib Ni-4:POM, D +0}, M Niey. pi Fubini ERA 97 (N13) —0, 再 
F Niu,-Ni1U N,, $$ 97(N,,) -0, ?4 t€ Na, 时 ， 


SCA) = | 8CA Lg) P (dgs | g gt) 


E h &(g* A|z) P(du| gt) -5G"4 IgD. 


因此 , 3 为 几乎 同 变 估计 ， 定 理 前 半 部 分 得 证 。 现在 证 明定 理 的 后 半 部 分 : 由 
假设 (45 Ba) 为 软 氏 空间 可 分 , 引 理 5.6 的 假设 让 成 立 , 本 定理 又 设 引 理 5.6 
的 假设 这 成 立 。 再 由 引 理 5.5 An, 正则 概率 函数 PC.1.) 是 几乎 同 变 的 , 符 
合 引 理 5.6 的 假设 过 ), 故 有 引 理 5. & PCI R 
变 , 对 任意 同 变 估计 C 120, 构造 


5CAIt) = f scan Pal) (Acály 
59 S(- | OB RU Us 50-12» 的 风险 函数 相同 ， 且 对 Vgeg 有 
— | 


p. A 9(A|z) P(dz|t) -3(A]0). 


因此 sc rA 定理 得 证 . | 

XC 如 果 每 个 依 郊 于 充分 统计 量 的 几乎 同 变 估计 对 f£ fef 4€ Bg, 关于 
BX H 可 测 ， 则 在 定理 5. 工 的 条 件 下 ， 利 用 引 理 8.6 Bm: 存在 同 变 估计 
ó*(A|Jt) -6CA|t), a. s. 97, Xj 4 一致 成 立 ， 这 说 明 同 变 和 估计 0" CA) 3€ 
是 几乎 同 变 估计 类 的 基本 完全 类 . 

在 点 估计 中 ， SE E ZEEE REL CIES N AER RA, 才能 使 类 
似 的 定理 成 立 . 

定理 5.3 FEES. 的 条 件 成 立 ， 并 假设 损失 函数 是 本 的 ( 且 LO, d) 
=>, 4 jd|—9). 2 AU WB ANKE T[S2, 4.9 上 的 
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Borel 集 类 ，g 是 线性 变换 群 或 有 限 群 , 则 依赖 充分 统计 量 卫 的 非 随机 化 几 
乎 癌变 估计 类 在 具有 有 限 风 险 的 非 随机 化 几乎 同 变 估计 类 中 构成 基本 完全 
证 明 由 引 理 5.5 知 ,存在 几乎 同 变 正则 条 件 概 率 分 布 PC1), 即 对 
Vgc 9g， 存在 9" gk M, Br POr =P, t€ M, EEEL 
乎 同 变 估计 , B. R(0, 6) «eo, V0 cO, 则 由 于 了 工 (0, DHIE, FE a> R 
Be, E LO, d) >aollal +8. FEFE 9" 零 测 集 NT, 4 $E NT RE, 


eo» | 10, 8()) P (de |t) a0) Jic lè) 1 Plo 4-89, 
即 |13Cz)1PCazlt) < co， 我 们 就 定义 


"a-d SP (delt), SENS 
a, á HteEN, 


式 中 ae 9, 易 见 对 于 Vges te NTUM, A 
9 6 (1) =g" oó(z)P(dz|t) = f g*6(z)P(dz| Ü 


= Í SCID P (delt) = [6e Pg 10 


5 f 8 (2^) P (da! | gt) =ò" (gt). 


故 8* C) E JUSP Fd RH. ARAARA att] h Jensen 不 等 式 就 得 到 RO, 8”) 
« R(0, 80), V6 c6. 


现在 证 明 同 变 估计 的 情形 ， 由 于 多 的 构造 知 引 理 5.6 的 假设 边 成 立 . 


故 存在 同 变 正则 条 件 概率 Pot), 35 6(z) 是 同 变 非 随 机 化 估计 ， 存 在 
NT, 97T(NT) =0, | 


于 是 可 以 构造 
"o= 9(z)P(dz|t) 当 tEN'; 
a; 


M £CNT, 
a€9, xj gc 4, 1€ NT, 有 | 


gà* c) = | g'a) P (delt) = [56^ Pcia? gt). 


这 说 明 gi E NT, 所 以 了 一 NN? 是 不 变 的 . 
3 £c NT,RIPISISES. M38 PI RSEN USD LER NES J-N" 
的 映射 hQ), 使 gh) -h(gi), 定义 
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SC -8*(h(), CHhEeNT, h(t EF— NY 


* (gt) =0* (h(gt)) =0" (gh (t)) 
- g"à* (hG) —g" 8* G), 
如 此 给 出 的 SO 为 同 变 的， 由 损失 函数 的 凸 性 及 Jensen, X 等 式 得 出 
R(0, 6*) « R(0, ò), 0€ 0, 由 此 定理 即 得 证 . l 

下 面 讨论 第 二 个 问题 : 最 大 不 变 统计 量 IG) 与 充分 统计 量 SCz) 的 关系 . 
为 此 ， 要 把 充分 o 域 及 充分 统计 量 作 点 引伸 : 给 定 概率 空间 (2 Sa, 9), H 
i 三 Bo 忆 Br， 如果 对 VY4E 纺 ， 存 在 一 个 现实 加 (I4(z)| 有 级) 与 PE 多 无 关 。 
则 称 an KFC, d, 2) 是 充分 的 . | 2d 

4 gr 是 最 大 不 变 o R, PIa, 一 个 不 变 统计 量 S1(Y) 称 为 不 变 充分 
skit E, E S:00) ÆR o R 4.1048; 是 关于 (2 Br, 多) 充分 的 . 

若 S(z) 是 9 的 充分 统计 量 , 它 产 生 的 o 域 为 geS ga, 令 sr Sd. 
IK, EMARE F Bor 是 关于 (名 Br 多 ) 充 分 的 ?下 面 介绍 Stein Angy 
结果 . 

定理 .8 设 V=U0(5) 为 关于 变换 群 9 的 基于 S 的 最 大 不 变 统 计量 ， 
S 为 乡 的 充分 统计 量 , 当下 面 两 个 条 件 之 一 成 立时 , WU) V 也 是 不 变 充分 统计 
E. f 

RHA i) HF YgES, A gdis— 

ii) fs 为 Zs PPN 函数 ， XT y d 则 存在 Sisi RES fur, 
Ej fs 等 价 . 

REB: 存在 一 个 不 变 条 件 概率 测度 , BD 

P(B|S)-«P(gB|a8) (VBE Ha, 9€ 9). . 
“下 面 通 过 一 组 引 理 来 证 明 这 个 定理 , 

引 理 5.7 若 条 件 ARN, Ss A 充分 

证 明 车 fr 为 不 变 统计 量 ，P 可 积 ， 这 里 XP, dd aid: AUT 
À € s, 在 条 件 4 让 之 下 ;有 


Bclscgr))ap=| | EASE) 


从 而 


=| | FAP) = ora 


-[ fi(wap= | EG L8 GP. 


从 而 有 E(filS(gr))—-E(fil8(m)) a s. 55, 
BI ECfrlS(z)) - ECfil as) 对 9 几乎 不 变 , 在 条 件 4 这) 之 下 ， 存在 4 Bsr "UN 
A% fsa 5 EG 45) 8. 
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Epjifi(x)sip—ERHEbBfIGOI TOS 
e — Epjfs(xiMSs)—ejfs(Qm, a s St 
上 述 等 式 右 边 与 无 关 , 即 Asr 对 9' 是 充分 的 . 
引 理 5.8 下 面 三 个 事实 是 等 价 的 : 
D Ë Sfi KX MAE faa h a a1 可 测 函 数 ， 使 
fsi(z) = ECf1155). 8. 8$ PS, 
ii) E f: TE, yj l ; 
E(fr| Bs) =E fils). a s. 29, 
iii) GE fr RX, fs(2)73 2s a WAR, M 
E{f i(0fs(2)|251) = B(Cfi(a)|2si)ECfs(o) isi). a. 8. 95, 
证 明 过) 一 这 是 显然 的 ;下 面 证 明 DD. | 
E(fi(2)/s(2)|951) - E(ECf CX) f s (2) | 8) | tsi) 
—Eilfs(x)E(fi(m)|25)|4si) 
—fsr(x)ECfsG)|4sD 
—E(fids)pE(Qfs|sD. a, s. 98, 
再 证 iib. 对 任意 的 A EFs, 有 
| EGE) taa | ficoap- [ nfi coap 
“= E[E(IGfi)ds)]—E[EGA|ZsD)ECQ IO) SD]. 
= ELE{IAX)E(fi|gsr) (Bsr) ]= ELLE (Sil 51 
=f Bfr(a1aoDaP 
c—RE(fi(z)|4)-EÀ(fiím)438). 8s. go, | 
5]385.9 车 条 件 Bg, N 多 sz 是 关于 € 的 充分 c - 域 ， 县 在 给 定 
S5; 条 件 下 ， Sa Ej Br 独立. 
WEB] ”由 条 件 B, 存在 关于 gs 的 正则 条 件 概 率 P(B18), 且 对 IZE, 
即 P(gB|gS)--P(B|S). WR fei) Rd, 


frr Pavls) = rio Priore 


-| fio Peu) =| f Go Paylgs). 


这 就 证 明了 fue Jf atus) 为 For WWE LARENA S de 
概率 函数 的 关系 知 
ora 一 可 la a: s. 2, 
利用 前 一 引 理 中 让 与 ii R39 e, 此 引 理 即 得 证 . 
引 理 6.7 与 5.9 的 结论 均 为 gor 对 P 是 充分 的 ， 而 定理 5.3 的 条 件 使 
* 975* 





V —UCS) 的 生成 域 即 是 gsrz， 从 而 V 是 不 变 充 分 统计 量 . 从 而 定理 5.3 得 
附带 指出 : 易 见 可 由 引 理 5.4 或 定理 5.1 的 条 件 来 保证 条 件 A B 成 立 ， 
例 5.1 i X-—N(u, A), 4>0, p € R ERA, Xo cS Xan K 


机 独立 从 及 的 抽样 ， 众 所 周知 ，z= Š z/n, gi- 2l (2—5) (34 —2)* 为 
(p, 4) 的 充分 统计 量 ， 在 仿 射 群 


( 4 Belit 
$—We C/'*€9^ 对 角 元 素 为 正 


下 ， 引 起 参数 空间 的 变换 群 了 = 9， 行 动 空间 变换 群 采用 多 "= 9 如 本 章 所 
述 , 在 充分 统计 量 的 值 域 引起 变换 群 4— 9, 对 Vge 9 ga, 8 ) 一 一 (OZ 十 e， 
CS*C*), 其它 S, F, 9 在 其 相应 变换 下 的 作用 与 &2 中 4 所 述 相同 .由 于 
(2, gw) 及 充分 统计 量 了 = (Z，32) 的 值 域 空间 (3 ， S.l JS TRAE BRE E 
间 , 引 理 5.5 的 条 件 成 立 , 因此 条 件 BRAA. 

令 5 表示 下 三 角 阵 ， 对 角 元 素 为 正 , 且 S1S7=S?， 对 任意 不 变 统 计量 
f(x, 取 y=( 5 s) 

rx 6 5 y 
JE ess 区 人 ee, En)) =f (8 1-2), e, S 1 (zs — 2). 

WO a), …, S 1(z,- x))ERAEB. 同样 可 论证 只 依赖 于 充分 
im, 5) 的 不 变 统 计量 fS S2) 只 能 是 常数 (因为 对 上 述 9, f (9g, 8) 
—f(0, 1). 因此 Bsz=Bsn B: 仅 含有 两 个 元 隶 (P. 2}, 是 最 简单 的 o 域 ， 
由 引 理 5.9 可 知 Bs: EKERN O R, HEZ, S? 558 1(21— 2) JT au C 
一 %)) 独 立 . | 


86* 扩充 的 minimax 原则 及 Hunt-Stein 定理 


这 一 节 我 们 进一步 推广 $3 与 $4 的 结果 讨论 极 小 风险 估计 (最 优 同 变 
估计 ) 的 minimax 性 质 . 一 方面 对 变换 群 进行 推广 ， 另 一 方面 对 minimax 
原则 进行 扩充 .现在 仍 考虑 在 某 种 变换 群 的 不 变 判 决 问题 . 纪 . 有.g* 分 别 是 
HEKE, Za), RZA, Bo), 行动 空间 (D，320) 的 可 测 变换 群 ， 
上 且 9 与 弛 同 态 ;9 与 9* 同 态 .( a 上 有 分 布 族 2={P。， 0c0), 34 
VIES, gr TS US RT 9.- Hg 对 应 的 9g 有 9@=@， 但 在 人 日 可 产生 不 同 
的 轨道 Os, 这 些 轨道 彼此 不 交 , 【JE8s 一 8@， 上 对 Vg e V X S, 99:05. 


在 $1 中 已 证 明了 在 不 变 统计 判决 问题 中 ， 同 变 估计 在 每 个 轨道 上 有 一 个 党 
* 376 e. 


-=- 一 o —MÀ— M re eea 











一 个 估计 à 在 扩充 的 minimak 意义 下 不 次 于 另 一 估计 s $n 
sup R(0, 0) « sup R(0, 03) 


对 所 有 轨道 Os RM. 

一 个 估计 类 vt 称 之 为 扩充 的 minimax 意义 下 的 基本 完全 类 ,如 果 对 任 
Bikir, SE 6* c 9*, 使 得 在 扩充 的 minimax 意义 下 6* 不 次 于 ô. 

在 本 节 要 指出 , 同 变 随机 化 估计 类 将 构成 上 述 意 义 的 基本 完全 类 . 对 于 
假设 检验 , Hunt-Steini*! 首先 处 理 了 这 一 问题 , 对 于 估计 问题 , Kieferc 在 
1957 年 做 了 较 好 的 工作 , 这 里 介绍 .Wesler08l 的 工作 , 他 推广 了 Hunt-Stein 

的 结果 、 但 我 们 对 条 件 和 证 明 都 作 了 改进 . 本 节 需 要 的 某 些 拓扑 学 等 方面 
知识 ， 读 者 可 参阅 [7] ft0j、L3] —— 

基本 假定 : 除开 使 判决 问题 在 群 多 下 保持 不 变 的 假定 外 , 还 假设 : 

假设 Ar PERKER, 22) ETIA, 分布 族 P= {Pe,9€@} 与 (2, Ba) 
上 的 某 个 ao 有限 测度 等 价 , 即 rms, iX Ec iJ i C Es ER] E 
有 公共 支撑 的 受 控 分 布 族 ). | 

假设 4s， 行 动 空间 D 是 可 分 的 距离 空间 ( 指 存 在 可 数 个 处 处 称 密 的 子 
集 )， 具 有 局 部 紧 抵 扑 结构 ， 有 5 由 D 上 紧 子 集 所 生 的 最 小 o 域 LLD，90) 是 
KEZE 42]. 

假设 ds 群 g 有 由 它 的 子 集 所 构成 的 o 域 4s, 在 (9 多,) 上 存在 

”一 串 概 率 测 度 {ra 使 得 对 于 Vae 9X Ge, EUN 


lim (v4 (Gg) - v4(G)j =0. 


“ 称 为 存在 渐 近 不 变 测度 序列 ， 而 且 v* 作用 于 行动 空间 是 连续 变换 ， 亦 即 对 
于 Vg" c 9* 及 任意 D ISJE-T RU. g"U 也 是 开 集 . 
(E 9 是 局 部 紧 拓 扑 群 , 则 假设 前 半 成 立 ). 
假设 4， MEERE: 对 于 任意 的 6e@， 则 有 加 ， 当 hah $ 
. (a:L(, q) < 从 是 紧 集 ， 一 般 地 (a:L(, a) «h) 关于 是 几乎 处 处 
“(对 Lebesgue 测度 ) 为 紧 集 . 
假设 As: g 是 局 部 紧 拓扑 群 (例如 线性 变换 群 ) 4, 由 所 有 紧 子 集 所 生 
成 . 
定理 6.1 io |z) 是 9 的 任 一 随机 化 估 计 ， 对 任意 固定 的 46g， 
9eE9 6(g*4jgx) 是 关于 ,x d 可 测 ， 则 在 假设 Aio 4a 之 下 , 存在 几乎 同 
变 估计 6*(:|z) 在 扩充 的 minimax 意义 下 不 次 于 6(* 1z)， 若 进一步 假设 4s 
成 立 , 则 存在 同 变 估计 0" C 1z) 在 扩充 的 minimax 意义 下 不 次 于 6(. |2)， 


. e877 。 
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WEBB 分 为 两 种 情况 来 证 : 

TRL EI 是 紧 的 拓扑 群 , 例如 有 恨 群 , 由 此 在 9 上 存在 一 个 右 不 变 
Haar 概率 测度 v， 即 对 于 Led €4, JEY, v(Gg) -v(G). WX 4 €4», 
TEZ, YE 


ò" CA|a) = J. &(g'Algndw(g). — (6.1) 


不 难看 到 ; 如 此 定义 的 9*C- |») 仍然 构成 随机 化 估计 , 即 对 于 圈定 的 r, 
tA» 上 的 概率 测度 ， 对 辕 定 4€E48p， 由 于 6(g*4igz) HF d, xe 8D 
， 测 , 它 是 Se 上 的 可 测 函 数 . 而 且 6" 同 变 , 这 是 因为 对 于 Vg ES, Ae», 有 


9* Gg* Ala) [| Cate" A1 oin) (9) 
=| 5t4lasDdv Cou 


=f &t4losiav o) - C412). 
现在 任 取 6, € 8, Os, 为 含 6, 的 轨道 , 则 
Ru 8) | | IOo að" dals) P, <da) 


i f ado | , (0o a) (dg*a|gz)dv (g) Py, (da) 


i | TID TC COT 
«sup B(g8,, 0) - sup 已 (Oo 0). (6.2) 
eg $9,€6,, 
这 就 在 g 为 紧 拓扑 群 的 情况 下 证 明了 定理 . 
情况 IE， 一 般 情况 ，9 不 是 紧 拓扑 群 ， 不 存在 右 不 变 Haar 概率 测度 


令 和 是 刀 上 所 有 紧 子 集 的 类 ， 由 假设 4, E 95 上 存在 一 串 浙 近 
不 变 的 概率 测度 {zn}, 对 定理 给 出 的 6(.jz), E 


B. Alo) [gt AlgDav. (o), VA e ze, 


根据 级 紧 定 理 (参见 [13] 附 录 O, MAUI Acor, b, ERRIOCTARUUR 
在 , 即 存在 子 序列 {m CA |) E OSGA la) <1( 固 定 4 时 它 为 gx 上 的 可 

lim | ön, CALE) Cadu = | &CA 1f GO dps, (6.3) 
亦 即 所 有 0<8(41z)<1 的 泛 函 空 间 色 ,在 弱 紧 意义 下 是 紧 空 间 ， 再 由 
Tychonoff 紧 空 间 的 定理 知 (参见 [10]): 由 每 个 罗 4 的 紧 性 得 到 乘积 空间 
”用 在 乘积 拓扑 意义 下 也 是 紧 空 间 。 由 此 知 , 对 于 OCA L2, FE nF 
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到 {my} 与 4 无 关 及 6,(: 1z)， 使 得 对 于 任何 同 定 的 A € x5 SoC4lo) 为 gu 
可 测 , 圈定 Zz 它 是 上 集合 的 函数 , 并 对 任 一 | 可 积 函 数 f， 有 


lim | 8n (ADF Wap | 8 C412 (wap (6.4) 


由 于 6n《: |2) 对 固定 的 x 是 概率 测度 ， 从 而 可 推 得 下 列 等 式 或 不 等 
a. S. 内 WAL: 

a) Xp AiC A», An As € X, WII oC Ai] m) « ÓoCAo|); 

b) 0xàCA|z) «1, 24 A € x; 

e) M Ai doc X, A40 4.0, 则 

Ôo (A1 U Aa |x) — 9C 44|2) +ô Clr). 

a) 与 b) 的 结论 是 显然 的 ， 现 在 证 明 6)， 因 为 h 是 oc 有 限 测 度 ， 取 

f@)>0, a. s. [n] BR. 可 积 ,定义 
g(z) =f (2) {čo (4 U Az] x) — 6 C4112) — oldal PF. 

显然 9( 轨 也 关于 几 可 积 , 对 任意 的 有 


0— [ gC) Lôn CA U Aala) — ôn, (41 l2) — Òa, (4al) Jd, 
从 而 得 出 | 
O= [ 9C) C8yCAs U Aala) — 95 CA la) — ol Aa] To 


=| re [ 9o CA, U Alx) 一 Go C44 | 2) mE Oo CAg[2) dw. 


由 于 上 式 被 积 函 数 是 非 负 的 及 f (x) —0, a. s. p, E 0) 的 结论 ， 

THRE 66《* 12) 来 构造 一 个 适当 的 判决 函数 #， 册 于 D eap y Pug 
空间 ， 故 存在 可 数 子 集 在 DD 处 处 稠密 用 吾 表 示 所 有 以 此 稠密 子 集 的 点 为 
申 心 、 有 理 数 为 半径 的 闭 球 的 有 限 和 集 。 从 而 卫 的 开 子 类 可 表 为 车 后 RS 
可 列 个 集合 内 核 的 和 集 ， 由 于 互 只 有 可 数 个 集合 ， 故 除去 一 个 几 零 测度 集 
N 外 , 在 马上 满足 a)、b)、6) 三 条 性 质 , 令 如 移 开 子 集 类 为 €, 对 VU € v, 
ZEN, 定义 

à*(U|z)- sup 3XAlz). - (6.5) 

AER, AcU 

WAIT IER) U, 6* (1 四 是 Ba 可 测 函数 ， 又 由 于 (U1z) 有 半 可 加 性 ， 
故 可 对 卫 的 任 一 子 集 W, 定义 

à'QW|a)- in à*(U|D. — (6.6) 
无 疑 ,对 固定 的 W, 6* QV OEE Be TWAA, 现在 分 几 步 证 明 此 部 (8) 
的 几乎 同 变 ， 不 次 于 ò. 

(一 ) 除 去 一 个 上 零 测 廊 集 外 , 0* (13) ECD, 多 0) 上 的 概率 测度 
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D 当 zEN 时 ,sx*(7|z 在 刀 的 所 有 开 子 集 类 a LORNE. 

i U€ (1,2, 7) 当 YEN 时 ,由 8 的 定义 就 可 得 

1) X U1cUs-9* (U; |z) <6* (Us| 2); 

2) ó"(b|z) =0; 

3) # U40Us—0-50* (U,UU5|2) —ó* (U1|z) --6* (Us| z); 

D RUNU =G), M *(C)Uuo) - Sot cuo. 

D5 2) 是 显然 的 , 现在 就 3) 与 4) 给 出 证 明 : 

对 于 UUU HEX (6.6) 知 ， 对 于 zEN， 任 给 se>0， 存 在 46 五 ， 
ACU(1UUs, $4 ò (Ajr) ce 6" (UUU), XJ 4 的 每 个 点 a， 存在 有 
理 数 ra EFR {z:lz-al<*o} 或 含 于 Da 或 含 于 Ts， 所 以 开 球 Do= {a: 
[2 —a| x v,/2* X E t& U, 仍 含 于 U1i 或 含 于 Us, 这 样 的 开 球 Us 32 4 覆盖 
了 。 由 于 4 是 紧 集 , 根据 有 限 和 覆盖 定理 , 存在 有 限 个 点 ap ee, ar EA, 使 得 

4cU U,, ct) U, cUi1UUs, 
Ye U} U,cUs, Y; A Lu Us cs. 
注意 : Vic RG-—1, 2), VyUV224A, 所 以 
8*(U;|z) --8* (U|) >8* (V4 |a) --8* (Vola) 
=ò" C'3 UVa|z) 20* CA[2) >ð" (Ui UU4) — e, 
根据 e 的 任意 性 可 知 
O*Ui1|2) --0* (U3|z) >0*(U1U Ual), . 
EA 6), 又 显然 可 得 
| MEC 
所 以 3) 得 证 。 同时 用 归纳 法 就 可 证 明 当 U, € 4&( 一 …) 时 为 彼此 不 交 
的 开 集 , 则 对 任意 的 %, 有 | 


"人 U,z)- 5 STe) «rtt Uz) QU z€ N), 
4 nos, 则 有 
Šio" tao «ee ÜJ Usla) (zx € Ny), 
再 用 证 明 3) 同 样 的 办 法 也 可 证 明 
ADELA ELAD (EN). 
至 此 4) 得 证 . 
i) 34jmc€ N Bp, 6*(.|2) 是 (D， 988p) 上 的 测度 . 
根据 6*(*|2) 的 定义 及 记 ， 它 是 外 测度 。 如 同 在 实 变 函 数 中 建立 工 测 
«- 380 。 





度 那 样 , 一 个 了 的 子 集 互 称 为 可 测 , 若 对 也 的 任意 于 集 4， 有 下 式 成 立 
ó* (Alr) 2ó0* (AE |z) 十 6 (AE^|z), (6.7) 
这 里 E^ -D-—E, 由 于 DiumBunm, 从 外 测度 的 性 质 易 知 , DD 的 子 集 
包 为 可 测 的 充 要 条 件 是 : (6.7) 式 仅 对 每 个 开 集 U 代 4 成立， 事实 上 ， 必 要 
性 是 显然 的 , 只 要 证 充分 性 : 对 DERTTE A, HU Cv E ACU, 由 假设 
知 
ó* (U |z) 20* (UE |z) +8* (UE*|x) >8* (4E |x) --ó* (AE"|z), 

上 式 右 端 对 (Q:IACU, Uca) BORA, 由 定义 (6.6) 即 知 应 有 (6.7) 式 成 
V. 

ACTODMIEGCECY SEE, Sup 如 可 测 ， 对 于 开 集 0，UB* 为 开 集 ， 由 
(6.5) 式 知 : 存在 闭 集 Fic CE, 使 

à* (Fila) >60*(UE°|2) — 6. 
又 UF 也 为 开 集 , 从 而 存在 FocUFT, 使 
ó* (Fa| x) >0* (U Fils) — 8. 
TA FiUFSQCU, Fin Fó4—0, UFS2UE, ik 
ò* (U |x) 20* (F1 U F3|z) —ó* CF1|z) -ó* (F512) 
28*(UE'|z) +8* (UE|z) — 28. 

由 于 的 任意 性 , 上 式 即 给 出 如 为 可 测 , 而 DD 的 所 有 可 测 子 集 也 构成 g 域 ， 
2, 是 由 也 的 所 有 紧 子 集 生成 的 最 小 c 域 ， 因而 go 的 元 皆 为 可 测 集 .这 就 说 
明了 当 zEN 时 , 6*《. |x) 是 9p 上 的 测度 . | 

ii) FE pn EWER Nap 4 zeNUN,mBI,ÓO*(-|2) E CD, Dp) 上 的 概 
率 测度 . | 

首先 指出 : 对 每 个 紧 集 AC xzE N， 令 开 集 0 4， 如 同 让 中 证 明 的 
那样 ,存在 Aus es Aa OEM aiL, o, 及 为 球 心 的 属于 RAAR). 


Ù ZeB, 且 4cUZocD, 因此 
f= iz 
& CA 1x) e ( J Aa lz) <80 a), 

由 6* 的 定义 (6.6) 即 知 
| (Ajr) «ó* (Ajr), (6.8) 

不 失 一 般 性 ， 现 设 对 于 定理 络 出 的 5(.|z)， 存 在 .@ 在 有 变换 下 的 某 一 
IUN bo € Os 及 适当 小 的 67-0, 定义 4= {a:LCOo a) « ms/c), 根据 假设 4 
知 : 存在 (9 和) 上 概率 测度 vs, 与 导出 (6.23) 式 同样 的 步骤 可 导出 RO, òn) 
RS, 从 而 


。 384 。 


CO 








ms> R (f, n) > | | 9, (da |a) L(&s, a) Ps, (dz) 
D-A 


muse {6ndals) Pa d) 
mss | 5,(D— 4|2) Ps, (da), 
即 | OD- A [Ps (da) o, 从 而 对 一 切 m 有 
ir 8. (Als) Ps, (da) 1 — 8, 
再 由 人 的 定义 , 当 8 充分 小 时 , AEN A (6.8) S, 3 
| 6* CD|z) P, (dz) > f S*(41z)P。(dzy > f S (Ala) Ps, (da) >t- 8, 


由 s KERE, 0<6* «1 ME P=, Dla) 71, a 8. p, F Nim nt 
9*CD|z) 1), Wii se N UN: Bi, Ò" C ERI. 
(DOC | JL] E. 
i 对 于 每 个 ( 40) 上 的 有 界 可 测 函数 UC, 有 
lim | g^ (dv, (g'g77) - dv, (g)) =0. 


BOR ARESE [IL 把 [一 1, 11585573 2M 个 小 区 间 , 由 积分 定义 知 
a (Ceuta <4) 1) pt - AL 
-| $s tav. Gg '9 3) — dv. Cg^)] «2 «3 | 


4 n—o, 则 上 式 左 端 第 一 项 趋 于 0, 再 令 Mee, 则 证 明了 DIRE. 
i) 对 每 个 gE 9 及 紧 集 4, 有 
0o(% A| gx) = CA x), a. 8 p, (6.9) 
4 f GRE SCKET LOARA. B ET CCB D, 有 


(totg 412) — CAI 3F Gd 
Be | J à(g'* A|g'z)f (z)du[dvas(g'g 1) —dv,(g') 1-0. 


其 中 要 注意 WC9) = [ OOAD fonda 是 有 界 可 测 函 数 ， 取 ja) 一 
[Sg 41g) —&CA Ix) ox), g)> 0 可 积 , 即 如 证 明 B C |) 89 RED 6) 那 
样 可 证 得 DKA. 
i) 对 每 个 ge 9 及 每 个 紧 集 4, 有 
ó* (g* A| gx) —8* (4]£), a. s. p, (6.10) 


+ 982 , 





4U&—^jrS, ACU, B 6*CAl2) &)fg X(6.5, 2: TE Fc B, H 

F4CU (n—1, 2, ---), 有 
lim à (F,|2) —0*(U |r), lim ày(g*F, gx) =ð" Cg"U | ga). 
由 这 的 结论 即 知 ð” (U]2)53 0*g*U |gz). a. s. p 相等 ,这 样 可 见 
ó* (A|z) «:ó* (U |z) =8* (gU |gz), a. 8. p. 
6* (g* A| gx) <ô" (g*U | gr) =ò" (U |), a. s. p, 

在 上 式 两 边 对 取 inf, 即 可 得 也 ) 的 结论 . 

iv) 几乎 同 变 . | | 

4 A JE 0^ (g* B|gz) -0* (B|33, a. s. p. 的 所 有 了 Be gp 的 集合 类 ， 
易 证 这 一 类 构成 单调 类 , Bio Do xn dp «(D Cof, BERE (和 是 集合 类 
生成 的 最 小 单调 类 , 也 测度 论 的 知识 知 : 它 就 等 于 由 ER o R, HD». 
说 明 8* 几乎 同 变 . | 

(三 )6* 不 次 于 è. 

因为 


RO, 6*)— f” f o {fa:LC0, 2) Hla] 8d pdh 
=f [ a2, a) hubo rt dp d 
lim ff 1.—à* £a:Z6, a) <h]lz} prO dudh 


= lim (21— f | à* (fa:£49, o)<h]la})PrlOdudh, (6.11) 
根据 假设 Ao (a: LO, a) <h} I h UR RJV Lebesgue 测度 ) 为 紧 集 ， 对 
REF, gr o*(r]a2295,("]2), MERETE A òn 4813 
| lim | õn GFIa)p(el Odu [6aF pel, 
由 (6.11) 及 上 述 两 点 , 则 得 
R(0, 6*)< lim( H- ff dtar, a) «h]la) )p(s10)ap dh 


= lim (a-f tim f ènt: L0, a) <h] |z} )pGz19)aw dh 


How 0 kow 


= lim im(H-| | à, {[a:L(, a) «h] 1) i18) dap 


Hm kaw \ 
= lim lim | , [8s {La: LC, a) - en 
H>% k29J0 
«lim ÈO, dD <sup RCO, 8) (CH OEOD. 
注意 : (a:L(O, a) <h} TÆRER, otLa;s LO, <he} 没有 定义 , 我 
e 888 « 








们 可 定义 它 为 1、 根据 假设 4 并 不 影响 上 述 不 等 式 的 成 立 . 
至 此 定理 第 一 部 分 得 证 . | 
至 于 定理 第 二 部 分 : 由 于 D 为 可 分 距离 空间 , 如 同 证 明 ( 一 ) 这 的 办 法 ,对 


每 个 紧 集 4 存在 以 a OR ROCHE HIER A, € R1, e, K), [UEM >A, 因为 
ÚJ Z., « B, 所 以 4 THOSE h— 4 JERISEMS TR, 因此 aO — 400, iX 


说 明 4, 是 可 分 的 。 再 根据 假设 4s ECT, 4,) LEEA Haar 测度 >。 对 
任意 的 Ge go，V96 9g，v(G9) 一 v(G)， 如 果 能 够 证 明 6*《g*4|1gz) 对 固定 
HJ AEDn J 2,x 2« 可 测 , 则 由 & 5 引 理 5 的 证 明 思 路 可 知 ， 存在 一 个 上 零 
WER N 及 同 变 估计 tC 12) 5 C |z) 等 价 , 即 
(41z) =0* (Alr), 3 r€ N, A € By, 
这 样 ,定理 的 第 二 部 分 得 证 . 
例 6.1 在 82 问 题 4 所 举 的 估计 多 元 正 态 分 布 协 方差 阵 4 的 例子 中 ， 
已 求 出 了 在 仿 射 群 下 最 优 同 变 估计 . 由 于 损失 函数 t (AD -I 是 严格 凸 
数 ， 群 9 是 线性 变换 群 . 由 $ 5 的 讨论 知 : 最 优 同 变 估计 是 唯一 的 ， 加 上 
此 问题 仅 有 唯一 的 轨道 , 以 及 样本 空间 (2，ge) 与 判决 空间 都 是 欧 氏 空间 结 
构 , 群 9 是 局 部 紧 拓 扑 群 ， 因此 定理 的 条 件 都 满足 , 故 4 的 最 优 同 变 估计 是 


minimax 估计 ， 


问题 与 习题 
1. iÈ Ti, Ta, ,Yn 是 id， 有 极 值 分 布 ， 其 概率 密度 为 


f(z, a) -exp( — (z-a) -e(*?). 《一 co<Z<co， 一 co<xa<oco). 
4 为 转移 群 ， 损 失范 数 为 Lla, 8&)= (0—8), d á(x, s m) XT 
充分 统计 量 Zw, Ze “的 同 变 估计 ， 求 极 小 风险 的 最 优 同 变 估计 

2. 考虑 转移 型 位 置 参 数 的 Pareto 分 布 ,其 密度 函数 是 


fG, »-5(2) (a«z «co, 0<a<o), 


对 于 平方 损失 , 找 最 优 同 变 估 计 . 
3. 如果 行动 空间 (D, gp) 是 可 分 的 ( 指 an 可 分 )， 试 证 定理 1.1 对 几乎 
bou 
4. ik (Pet — 09 «0x 02) 是 一 族 Cauchy 2545. zi ttt Tn 是 iid, 具有 
Cauchy 分 布 . 
i) 6 的 Pitman 估计 是 否 存在 ? 
« 884 o 





ii) Zt] Cauchy 分 布 采 用 截断 方法 如 下 : 
Ox[l-g-(z—0)?]3, [Iz—0l<%; 
FDC 90)=| EU. 

此 处 0C 是 已 知 因子 (依赖 E), 试 求 其 Pitman fit. 

5. 令 zl，…，zon 为 id， 服从 正 态 分 布 NO o?), ARASA: 2 
(5 —d| «o 时 为 0; 当 |n -d| mo kij 1, 求 4 的 同 变 minimax 估计 E 
损失 函数 为 : 当 ]do7—1| «1790; dE 之 1 1i. TOM 同 变 
minimax 估计 . 

6. 若 zi e, Sn 为 iid BÉEUAI opui» 具有 a 
NGO, A), 估计 协 方差 A4; 

i 损失 函数 为 


ERE (4,BA — dy? 
HUS 2ni,BABÁ - A( BAJ’ 


此 处 瑟 为 已 知 的 对 称 阵 , 现 已 知 —0 h, d - t, BS" / (n-- 2) A fj minimax 
估计 .求证 9 未知 时 d-i4,BS/(n41)f Af] minimax 估计 ,这 里 
= Èra, S = Sias- 2) (z,—)7, 

ii) 若 损失 函数 为 LCA, D) -i,CAD- I), 3K0—0 以 及 9 未 NUM 4- 
的 minimax 估计 . 

7. 令 尺 是 实 轴 上 的 绝对 连续 分 布 ,考虑 玉 (z) 的 估计 问题 ， 损失 函数 为 

LG, F) = -Jir (2) — P (a) |'dz, 
kitr 为 正 整数 ， 令 是 所 有 一 一 对 应 的 单调 变换 群 , 试 证 明 ; x Even 
« Xo 是 顺序 统计 量 , 则 的 minimax 估计 是 
f (z)- G4 1)/(7-2), E ESTS Tgn (70, 7 n 
此 处 To= — 99; X07 99. 
(Aggarwar, Ann. Math. Statist., 26: 450-- 463 (1955)), 

8. 4x, s m, 为 üd. 分 布 为 N (m, c?); 损失 函数 为 (da 一 Do> 0 

EAD. 则 Cola) S? 是 c? 的 minimax 估计 ， 其 中 


ga Ss 9», Ca) - T (*z* 1 I 23a). 


9. 26 xi, 5, m$. 为 did, 遵从 指数 分 布 , 密度 为 
B-1exp[ — 《2 一 0)/B]M.aoso» OcR; 870, 


Ru n 7241/ (3: Ti WX \G=1, e, 9) 与 (o S anna, Jit 


10. 3x, sj Xn AL did, 遵从 (9 一 0/2, 8 十 oy3) 区 间 上 的 均匀 分 布 , 试 
e 886 o 





üE(z, — 21)/ (244; - x3) (6092, e, ny 5» Za) RBS. 

11. 在 定理 5.3 中 , 若 进 一 步 假 设 8 是 完备 统计 量 , 则 V. 也 是 不 变 统计 
量 中 的 完备 充分 统计 量 . 

12*. ik» AME X-—P(—01.)/0), BA 9: EE m Nt o "p 
01,)/ay (—9o «0-9, 970), BA, Aa HARF -ath E 
AK, HAEREERE 1-a hy DAE F RE A i O 05, 
则 存 " : 

min sup E (52 tate | 0, cj)= ， min pue 012) le c) 


(,, 8, (0,0) Ê shpe D 
=E(6 610, 1), 
此 处 罗 表 示 所 有 置信 和 度 为 1 一 -a 的 6 的 同 变 估计 类 ( 即 (Bi), 6.25) 分 别 
EARE ERKKA). 
13， 试 证 明 ; 


i) 4 t e, £n J} üd, —N(p, PNT, BAREA 1- 4 的 hb 的 最 优 同 变 
HEKE 


(SE nos (8) ae n (E) 

这 里 tw_a(P) 为 % 一 工 身 由 度 的 + 分布 的 上 侧 己 -分 位 点 ,而 S3 S - 2)". 

H) s os 2.8 tid, A RO—0/2, 9+o/2) 时 , 则 置信 度 1 一 a 下 
9 WR EE RM IS 

(arte. ia T Ray T)» e X. & zd (Xt) — zo) ). 
(Od) Fry s a id., MAFRA REREN 

B- exp[ — (s—0)/8 Yo. 
NERE -的 9 的 最 优 同 变 置 信 区 涪 估 计 为 ， 
(so zz (a 73 -DE za); za ). 


li. 在 题 12 的 假定 下 , 对 于 的 置信 区 间 有 着 与 题 12 同样 的 结论 . 试 
以 此 求 出 题 13 中 各 分 布 的 o 的 最 优 同 变 置 信 区 间 . 

[提示 :， 先 用 8 4 的 定理 4.1 的 办 法 证 明 8 的 区 间 估 (da di/2, dat 
di/3) 在 损失 函数 








d/o + cl, .2,/23 ata nO. (07-0) 
之 下 是 最 优 同 变 置 信 区 间 估 计 , 具有 minimax 性 质 , 然后 看 c 取 何 值 使 这 样 
的 最 优 同 变 估 计 具 有 1 一 a 的 置信 和 度 , 如 此 求 出 的 置信 区 间 即 为 题 12 所 求 .] 
15， 对 回归 模型 了 一 XB+e,， Bc R* 为 未 知 参 数 ， 及 为 nXk(n> 有 ) 答 
E, X X0, € Jy n 维 随机 向 量 ， 





4 


D 3Xbe 具有 密度 f(s), 要 估计 B, 损失 函数 为 18-4]. 39$ 9-— (9. 
cE R^) —g-— $* 是 向 量 加 法 群 : | 

gy —9-- Xc, 9B —c-4- B, ged —d-c, 
JC AE Y HE iir Be fe] R8 a. EAS AVPEUSOAIATI, 试 证 8 的 
最 优 同 变 估计 为 


8-[ arw-XxmaB | f(s-X8dB. 


JFUEBH o4 VEA minimax 估计 ， 
4) XXe B9 fi ED f(/o)0 *, o0, fh 4 B B3 33 ER m 为 
18—4|?/s?. 令 y 的 次 换 群 为 ' 
i G= {9o a; c€ Rt, a>0} =g = g" 
Jey =ay + Xo, Jea (B, 0) —(aB-Fe, a0), ge, d —ad +e, 
在 此 变换 群 下 , DELETE URGE, EN B RRA E HA 


-人 (Jr [, [AEE ona 


它 也 是 minimax 估计 . 
[提示 : dnm 8 2Pitman 估计 一 样 来 进行 。 至 于 minimax 性 可 采用 82 
$i 84 的 办 法 ,也 可 直接 验证 Hunt-Si i 2E BERI AR EL] 
16. 设 随 机 向 量 X—F(—0D0cR d, 1-(, ….， 15, -onm 
UMVUE 存在 , M 9 ij Pitman fit z— -EIn- si recs UMVUH 
[提示 : DUMVUE 基本 唯一 ; ii) Pitman 估计 为 无 偏 估计 ; ii 有 一 同 
AV S USERS RR ESAE] 
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SUME 容许 估计 
$1 容许 性 概论 


在 这 一 章 我 们 仍然 假设 (07, Za P), 多 = {P 066) 表示 
样本 空间 (或 概率 空间 ), 此 处 D? ze YS OT EE CAT Z.) 上 的 
c 有 限 测度 几 所 控制 ，0 是 未 知 参数 .我 们 往往 假设 @ 为 思维 欧 
氏 空 间 R* 的 Borel 可 测 子 集 ， :例如 连通 域 ， 工 (9, DRRAKE 
Go 它 是 建立 在 参数 空间 与 行动 空间 (@ 广 也, Zox) hy Zozo 可 测 
函数 ，8(z) 表示 对 9 的 估计 (可 以 是 随机 化 估计 )、 急 表示 所 有 个 
计 类 ， — Aur), RO, 5) 表示 估计 3 的 风险 函 
数 ， 我 们 要 在 这 一 章 中 讨论 两 个 估计 优 劣 的 比较 ， 以 风险 大 小 来 
建立 判决 函数 空 a S 

定义 1.1 我 们 称 3iE 急 处 处 不 比 E2 E, WRAT 
voco, 有 - | T 
R. 5) « R(6, E (1.1) 
”如 果 进 一 步 假设 对 于 某 些 9€6， 全 . 芒 或 中 严格 不 等 号 成 立 ， 则 
称 91 优 于 O5, 记 为 91-05, 、 

n 9, 与 ja 等 效 ， 如 果 对 于 vce, d: DASS, dd 
-为 öz o 

ied 0,€ 2 EEEH, WERE b 也 就 
是 说 ,所 有 处 处 不 比 8 差 的 估计 都 应 与 3e 等 效 . 

我 们 称 do 是 几乎 容许 估计 ， 如 果 对 任何 处 处 不 比 8e xm 
dro, 都 有 
| L(0:R(0, 8)-R(0,89))-—0, |. — (4.2) 
-RF LJ Lebesgue 测度 (有 的 文献 ,把 工 换 为 其 它 问 定 的 测度 和 








此 时 可 称 6。 是 几乎 人) 容许 估计 ). 
这 一 章 中 讨论 参数 估计 的 容许 性 问题 .首先 是 讨论 一 维 指数 

族 及 转移 参数 族 ( 又 称 位 置 参数 族 ) 参 数 估计 的 容许 性 ， 这 是 判决 
函数 理论 的 重要 问题 之 一 。 自然 , 我 们 希望 所 采用 的 估计 是 容许 
的 ， 这 就 引起 研究 以 往常 几 估 计 的 容许 几 ， 琢 所 想象 过 去 认为 优 
良 的 估计 应 当 多 数 是 容许 的 ， 伯 有 超 乎 人 科 想 象 的 结果 , 如 
James 和 Stein 早 在 1956 年 及 1964 年 就 证 明 了 三 维 以 上 的 正 态 
分 布 以 样本 均值 估计 均值 , 在 平方 损失 下 是 不 容许 的 ; 一 维 正 态 分 
_ 布 的 方差 ， 在 平方 损失 二 样本 方差 的 线性 函数 也 是 不 容许 的 ， 这 
就 引起 了 人 们 的 更 大 兴趣 ， 应 当 指 出 :判定 一 个 估计 容许 与 否 ,六 
非 容易 的 事 , 至 今 , 结果 尚 不 多 ， 还 要 指出 一 点 ; 认为 一 个 容许 估 
计 “ 就 必然 好 ”的 观念 是 错误 的 ， 例如, ERREA LO, d) 对 每 
4 6€6 仅 有 唯一 的 dE.D, W1 LO, d) 在 中 取 极 小 , 则 对 某 个 
bo 取 (2) — da, 它 显然 是 的 容许 估计 ， 但 这 个 估计 只 顾 到 0。 
一 点 ， 不 顾 到 其 余 , 这 是 不 会 为 人 们 所 采用 的 下 面 再 举 一 例 ， 
. 501.1 42,2, van 之 2) 是 来 自 正 态 分 布 NC o?) 

ipii i X 3 6- (n, 0), ER, 070, 我 们 要 估计 
3, L(0, d) (do?—1), REZE. S 


ô= (n—1) 5 (s 2, Rọ, D= 


~ a adi R(8, 6i 








Tr 


ói-— y Sif, RU, ô$ T3 eG) p 

我 们 知道 ô ?是 UMVUR ô ;是 最 优 同 变 估计 和 minimax fi i, 
比较 它们 的 风险 ,有 

R(8, 81) — R(0, 6i), 对 一 切 6; 

RO, 08) «R(8, ô), A A«2(n--2) (n4-1) 6^2 

R(0, 635) - R(0, 62), $4 X2(n4-2) (n-1) tn, 
ix H A—pu*/o*. 注意 RO, 63)-oo (一 co)， 看 来 人 3 是 一 个 不 
好 的 佑 计 ， 但 在 后 面 要 指出 : 03 是 容许 合计 , m 02 ABA IEEE VE 
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估计 . 
上 面 分 析 说 明 , 单纯 从 容许 性 角度 来 选择 佑 计 是 不 尽 合 理 的 ， 


因此 , 我 们 往往 只 考虑 某 类 准则 下 优良 估计 的 容许 性 问题 . 最 党 


见 的 是 minimax 估计 或 最 优 同 变 估计 的 容许 性 问题 ， 

首先 我 们 将 给 出 证 明 容 许 性 的 一 般 定 理 . 

定理 1.1 i) £65 是 关于 损失 函数 L, d) xdi — (关于 
P) ij minimax 估计 , 则 òo 是 容许 的 . 

ii) Æ ò 是 容许 的 ， 面 且 在 名 上 为 常数 风险 e, 出 io 是 


 minimax 估计 . 


证 i) di 不 是 容许 估计 ， 则 存在 81s, 显然 ， 5.) - 
Og(z), a. 8S: Po Xp 3 360 CO m vr, SX T 03 0, 是 minimax fi 
tF, 5j minimax 估计 的 基本 唯一 性 矛盾 . 

i) 3 à KÆ minimax 估计 , 则 存在 61 使 得 

R(8, 8,) «sup RY, 81) «sup R(0, &) — const 


对 V6 € 9 成 立 , 这 与 0o 的 容许 性 矛盾 . 

定理 1.2(Blyth [2]) i) 设 凡 具有 有 限 风 险 估 计 6， 其 风险 
BE RO, 6) 是 日 上 的 连续 函数 , EO & @ 上 的 先 验 分 布 ， 且 在 
O 的 任意 点 的 任 一 令 域 玉 有 &(V)>>0, 其 对 应 的 Bayes 估计 为 
à, HUE RE, 5<, 则 5, 是 容许 的 . E 

i) 如 果 &(0) 是 日 上 的 先 验 分 布 ， 其 相应 的 Bayes 估计 6; 是 
唯一 的 , 则 5, 是 容许 估计 . | 

WE ii) 3p 8 是 非 容许 的 , 则 存在 0. 48, 可 见 人 i 也 是 Bayes 
估计 ,但 与 5 不同 ， 这 与 Bayes 估计 的 唯一 性 假设 矛盾 . 

i) 车 38: 是 非 容许 的 , 则 存在 OO, 那么 

R(0,80,) «R(0, 8), Á% 0cO, 

且 在 某 点 goE@, 严格 不 等 号 成 立 。 根据 连续 性 假设 ， 存 在 bo 的 
4A Va, 在 0EFe 上 式 严格 不 等 号 成 立 ， 因 为 上 (Fu)>0， 故 


I R(8, 8)d£ —- | , R(8, dag: 


这 与 9, 是 Bayes 估计 矛盾。 
391， 








注 结论 对 广义 Bayes 估计 也 成 立 , 如 广义 Bayes ARAR. 

上 述 定理 虽然 简单 ,但 有 实用 价值 , 它 产生 了 一 个 容许 估计 子 
类 .不 少 minimax 估计 或 者 属于 此 类 , 或 者 是 这 类 估计 的 极限 . 下 
面 几 节 正好 利用 这 点 证 明 minimax 估计 的 容许 性 .但 也 要 指出 ， 
并 非 所 有 这 个 Bayes 估计 类 的 极限 是 容许 的 ， 它 涉及 一 个 收敛 速 
度 问 题 。 此 现象 正好 是 研究 容许 估计 的 困难 所 在 ， 这 里 就 不 细 说 
了 , 先 举 一 例 说 明之 . | 

续 例 1.1 Rl (u, o”) 的 先 验 分 布 为 h~N(0, P), 07 
GG, V) (参数 为 和 >0, V>0 W D-458), Hp 5j o? 独立 . 记 


oo， S-21(m—2), 四 在 损失 函数 (doi) 下 的 
Bayes 估计 为 | 


Ôn (| y "eo dy r exp {- t So -9)'y 
— 8? [2 taa) (y n/20749 doy 
X [. exp [- i Xa - Oye / 2:2 a9) 
== ^ni dy| exp |- t (ny +r?) (e is E) 


zx y A 1 2D | d8) "1 v "+I1+a/26 一 My du 





n e»[-3 ew (8-5) 


名 1 ng 
- 18/2 NTF o y 
| ym. :exp1 3 Prey 


s y (8/44-A) } a/f yeti (1ng?) -7 


1 nz? 
xexp| 2355s - yG/2-92) } dy, (1.8) 


'.892« 








根据 定理 1.2 它 是 容许 估计 ， 我 们 可 以 看 到 它 不 仅 是 8 的 函数 ， 
也 是 2” 的 函数 . 众所周知 , 了 与 8 是 独立 的 , 似乎 x 与 o 无关 ， 
事实 上 ， 因 为 BB 一 jw 十 o3/n, T 仍然 提供 了 关于 o? HEE, X 
也 就 是 常见 到 的 仅仅 依赖 ss 的 0? 的 估计 并 不 容许 的 一 个 直观 道 
理 . 从 上 式 可 见 到 , 当 oo, 10, v—n/2 时 ê? >s2/ (n-- 1). 
在 84 将 证 明 s*/(n--1) 不 是 o? 的 容许 估计 ， 这 就 说 明了 Bayes 
估计 的 极限 不 一 定 是 容许 估计 . 
一 个 信 计 9,,€ BHRT E, 0 的 s-Bayes 信 计 , 如果 
R(E, 5,0 < inf RG, 5) +e, (1.4) 


C. Stein [26, i)] 利 用 这 个 概念 ， 建立 了 下 列 定理 ， 
定理 了 .3 若 66€ 多 , 对 任意 的 ppEB8，s>0, FEO dee 
先 验 分 布 £O X 0-p-i, 使 得 5, EEF £— (1—p) £0 - p£s, 0 
的 ep-Bayes 估计 , 则 òo 是 8 的 容许 估计 . 
这 里 En 是 概率 集中 go 点 的 单 点 分 布 . 
证 车 66 是非 容许 的 , 则 存在 81€ 22, 使 得 
R(0,8) «R(0, ), YEB. E 
HFFS AE 9 C O0 成 立 , 按照 假设 86 ERT E 0 的 so-Bayes 
Qi, ak | | | 
R(E, &)«int R(E, 8)+ ep« RE, 51) - ep, 
i (1—5)R(£9, 59) --pR(8s, 99) 
« (1—p) R(£9, d) -pR(8s, 81) -- ep 
« (1— p) REV, 8) --pR(8o, 81) +EP (1.8) 
=> ~ R(bs, 8o) <R(Oo, 51) +e, | (1.6) 
因为 0,€6, s BESEEE, MIH RO, 8) <RO, 8) 3 V6cO 
成 立 , 这 与 5. 的 假设 矛盾 , 定理 得 证 . 
下 面 我 们 将 继续 引进 几 个 概念 : 
0, 称 为 关于 参数 空间 O 上 测度 二 的 正规 广义 Bayes 判决 函 
数 ( 记 为 NGBDF) ,如果 / 








| RO, spat) - int Re DEO) 

显然 ,要 求 对 所 有 OEO, RO, 5) «co, 这 才 有 意义 . 

5 是 关于 参数 空间 日 上 测度 和 的 广义 Bayos ADR GRO 
(GBDF), 如 果 

| ELO, 89 |o). ~inf EL, d) DE |^ —Q.7) 
或 者 Loa dies 

| 140, spe, DEO) - int | DO, dpe, DEO. 
这 里 pw, 0) 是 全 


qon. zb © NIE E HIRET X Dee ARR 
A (CGBDP), 震 对 任意 判决 函数 2 有 


4, 8) =| [RCO, 9) - 8G, 3)1a (0) >0. (8) 

则 很 容易 证 明 GBDF—NGBDF, 
引 理 1.1 REXO, D L-AME EEG, Zo) t 
一 囊 测 度 ， 而 且 lim Int E SEW) 对 一 切 EC e War, gO) 


是 (8, Bo) LEHTINEN 
lim inf | g()a& Gy OEO. : 
证 EREM M, 
lim inf | a (8)d£,(0) 


lim i$ E g M e (s: | m Us 一 St) 


£e ES M lim inf TP: aue « g(8y «& MOREM) | 


>$ Ea (o: Ee EN 
然后 令 m->oo, 再 令 Moo, 由 积分 定义 即 得 引 理 的 结论 

定理 1.4 设 上 为 (B, :2) 上 的 一 个 测度 ,5 JE 0 的 过 个 估 
» 8845 . 











A 


ib, 如果: | 
i) 当 估 计 51:<66 Rt, 则 存在 EC, fü £(E)70, RO, ô) 
<R(0, 60) (%4 0EE). | 
ii) 1k (0, Zo) LEE- RWE { ,使 得 
a) liminf& T>S) (3 T € Ze); 
b) lim A; (8o, 84) —0, 


此 处 o, J& £, 8] CGBDF, 

则 se 是 0 的 容许 估计 . 

证 若是 非 容许 的 , 则 存在 ? ,使 得 ?天 5o。， 由 假 访 i) 知 
R(0, 89) — R(0, 5°)>0 G4 0€ E), H.6CE) 0, 


do, S| TRO, 89) — BOO, IYI 
根据 引 理 1.1, | - 
lim inf 4,(9«, 8") 2 | IRO, 8s) RØ, 5347-0, 
lim inf A4, (3o, 85) 一 im inf [4 (o, 9*) + A«(9*, 5:21 
>lim inf 4448o 0*) 0, (1.9) 


这 与 假设 1i) 9 0) 3, E I 3o 是 容许 的 

WD AR EAE D NUS, 0, 是 OGBDF, W ò, 是 容许 的 
(ED 往往 取 有 限 测度 , 此 时 84 往往 是 Bayes f 

2) WRO LH MEM, BUE D, 1 PR EMT eo 
开 集 ， 定 理 结论 仍然 成 立 ， 例如 假设 RO, èD, ROG A) 关于 9 
leis 

"D 如 果 LO, d) JP Pol GR, HII AHERICNUS. 如 有 有 

Bc di, R WEO (6 P (B) 0, WAHEHE EC Be M ECE) 7-0, 
P,(B)-0 6€ 本 此 条 件 可 替换 假设 让 使 定理 成 立 ， 如 果 
其 中 万 还 是 b RER, BRW kP 可 减弱 为 开 集 ， 因 为 若 有 
òo, HA OCO, 使 对 某 个 BES8: 有 Po,(B)>0 及 ÒT) + 
9. (2) C4 wEB), WAWR d= Ft’), H 01-9. 9s, 而 且 由 





HUH RO, 5.) -- RU, 8) (对 一 切 9), HOCE ND ERAS 
EO -因此 上 面 的 假设 可 代替 让 ， — | 

4) 在 某 些 假设 下 ， 假 设 1) Hf JR Oo 容许 的 必要 条 件 。 读 者 
可 参阅 Farrel[12, ii)]. | 

上 述 定 再 虽然 简单 ， 但 往往 是 求证 一 个 估计 容许 性 的 重要 方 
法 . 

下 面 来 讨论 一 下 几 个 独立 参数 混合 而 成 为 多 参数 时 ， 其 原来 
的 容许 估计 是 否 保持 容许 性 的 问题 . 


定理 1.5 B XP, id pe, d 


di ose doti aiit ss, 

i) 对 GE. Ba) 上 某 可 测 集 BEA 07E 9, 使 Pa (Bi) 70, 

则 一 定 在 在 E E Za, (15,08) 0, PaB) >0 Q4 0€ Ej), 
IEA 5,2825 4:89 (05, Bo) 上 的 ac- 有 限 测度 , 

ii) 在 (8,, e) I4 RH RUE 2 及 o- 有 限 测度 0, 


i En , gu (87) = 5S. a "m 
0), HR lim inf g4(0,) 7 g; (8), A. S. 0j, 


ii) fil 0; BUR L(8,, dj 是 严 凸 的 ， Bt V ,(6))--0, 
OEO; ti b= (Oir =, 62 €8— Ox ` XB 的 损失 函数 取 为 


TV ODLO, d). a 38 
:如 果 估 计 dola (j—1, e, DRE 5 00 
dim. 64) =0 (一 二 …， k); [| (1:10) 








| ima. Ow, a) f TE TOA) 0. 1.15 
那么 dolea, au £y) = Siola), * d I 是 8 的 容许 估计 ， 这 
里 5 Jy OGBDF, | 

证 记 d = dEr- dés, dg? edis den, do dox, x 
HE— BE 2, x ox xz 则 有 l 
.396 - 





rr 一 sepa 





k 
. . ) 
sed, fira 
k 7 
=lim inf| TL V, gu (8) do 
k 
>Í. H [V ,(0;) lim ini gu (0,)]dc 


>| (Iv O29.) Jo. (C023) 
(0 BAE (0, Bo) LE -有 限 测度 ， 故 存在 彼此 不 相交 的 
TWR C4), GC) An 6, 06, (A) coo, SERE IE 
E) DEE A (EAD Qi PCS). BR EH 
&G-1 e, DÆM O 
Bid PG) -| pedd, T, (iP, ()) 70), 对 任 一 
FEB.. FNT ,-0, M P,CP) —0 Qu XE 8). 和 否则, 存在 
0;CO, ME P4CF)—0, 根据 假设 存在 钮 E56,; E EE), 


P, UG) 0 OF GCE). 因而 | Pm)diy>0, 这 与 PN 如 ,9 


G=1, =, DF. DE 
因此 , 若 对 某 一 BE e, FEOEO, 使 得 


k & 
f. I po VI) dui: di 770, 


k 
那么 | TI pe (2) dur-dur>0. 
BOW,X-— Xy j=l 


M] ja X n x us (B) 0, 此 处 B-B x xF 
上 LI P(s)dug-duy»0 及 | IT Opus uet. 

再 根据 Fubini 定 理 知 , 存在 EC Bo,x-xew (E) 2026 (E) 720 

[IlvsG)di-0. 8) 


根据 定理 1.4 的 注 3 知 , E òo WA E, di (1.18) JR ir, 而 
“e397. 





H RO, 8) «R(0, 8.) Q4 0€CO0ix- x6), EOCEEN, fh 
^ C23, CE, | | 
H X., Xa, ey Xk 相互 独立 ， 又 假定 i, ve. £a 为 有 限 测 
s (£n, >e, Eud, BC 9, (0) 2 0; E L(0,, dj) TR COGBDF, 


A gs = E (85, t, Din) 也 是 0 在 2 V JLO, d,) T X 于 
di V(0pd£a--déa FEJ OGBDFE, $x(L-LD) i2 Tig 1.4 的 假 


X iD RS k), 

上 面 的 论述 已 经 验证 定理 1.4 的 条 件 成 立 ， TA 6o Æ 0 0 的 容 

VT. | 
. 由 定理 4.4 电 知 0, (7,) EE LO, dj) 及 (v,, $45) 限制 下 6, 

的 容许 估计 ， 人 和 但 6jo(wy) 容 许 与 否 ， 和 了 V0)) >0 的 选择 无 关 ， 定 

理 是 说 明 ， 在 一 定 条 件 下 , 56,(wy) 是 b 的 容许 估计 (损失 函数 为 

L(6,, dj), SEA 8*(2) = {ae y 000 是 在 LL DO, 由 

下 的 容许 估计 . 此 定理 的 应 用 ， 请 参见 [9， ii)]. | 

| 例 1 QET 10 * X ,— N (0,, 1), 0,c R (j= 1, su k), E 

Xi 7, X, 相互 独立 ， 则 X -—-(X;, 2: y Xy) 在 损失 函数 


ÈD (6-4? 


下 , 当 7 着 时 以 及 <T k<(2-r)/(-r) h}, s Æ o= A di 
OO 的 容许 估计 . 

取 gu (0,) —e "^ ($—1, 2, --), gO) =i; do 一 0d0。 它们 
显然 满足 定理 1.5 的 假设 i) ii), 现在 主要 验证 (I. 10) 5j (1.11) 
式 是 否 成 立 . 


“在 平方 损失 下 , 0, 3c F Eu 的 Bayes 合计 Bu qr os 





故 4 (v, p, (2,)) T e 0 (400) . | 
而 r (1+6 Pg E L2 (14-857 2 qg Q5 r1), 


.? 39B 。 





r (14-85) 94 F Zu |8|-"e E qg 





J=» 
EX E l8|7re*'3dg (34 r—1) 
e Ey -— | ! 
[aee temas 


-1 "WE. | 
«| (+0) 9. t +| 91e" dp 
i8, «1 i812 4-13 
— O(log i). 
因此 ， ] 
lim * 4, (v, Òn Df II (14-82) "ee gg 
{>œ j=1 Bh yo 


(天 一 二 (于 一 ?+ 
E OG  ?  logi)-0, 


这 里 (1 一 gsi M r«—1), (L—7)* 2008 r2 1), 

由 定理 1.5 知 例 1.2 的 结论 成 立 . 

Brown ® 还 进一步 证 明了 在 7 过 i 时，8> (3 一 让/ (一 7) 
Bj, X 是 2 的 非 容 许 估 计 . 这 说 明 容 许 性 与 损失 函数 的 选取 密切 
相关 . 稍微 变化 一 下 ,损失 函数 就 可 能 使 原来 的 容许 估计 变 成 非 
容许 的 了 . 

例 1.3 S X, BAO, 1 两 点 分 布 P(X,2-1)—5, 0<p < 
i, H Xi, Xs, … 相互 独立 ， WARE VC) 79(0p,—), 


XO- LX uL, … BXVCOD' WO ER IB CST VC) 
X (p.—d)* 下 p9— (Gr, s Pr) 的 容许 估计 . 

容易 算得 , 车 取 SO =F, »0-L tA n-i- 
Jg)-6(»-3)-3 5 Y BUR ADF 
Bayes 估计 ， 因 为 五 (Qio(z — p)? = x , ECC E minimax fatt. 
EMO dE TI V p)dEr -dër / ETE Q0 dé. 
那么 (61(%w1)， CC) 也 是 关于 在 损失 函数 


=lim k 





e 399.: 





S.) (nd)? 
下 的 Bayes 估计 ， 因 此 也 是 容许 的 , 如 果 损 失 函 数 换 为 
> Vip) (pido? / 33 ViCp), 


HE s (B1 (m , 7, 0x (0))' 还 是 22 的 容许 minimax 估计 . 

此 例 说 明 ,， 无论 怎 样 选择 Vi(p), (120, e, 9x (m))' 的 容 
许 性 不 变 ， 它 完全 不 同 于 正 态 分 布 情况 . 

在 第 一 章 8 工 中 ,我 们 已 介绍 了 判决 函数 的 基本 完全 类 和 完 
全 类 的 概念 .现在 我 们 再 引入 极 小 完全 类 的 概念 . 若 C CS 是 
两 个 估计 类 , 并 且 C* 为 多 中 的 完全 类 .但 O 的 任 一 真子 集 都 不 
是 2 中 的 完全 类 ， 则 称 C” 为 关于 多 的 极 小 完全 类 。 当 然 ， 这 些 
概念 都 是 在 损失 函数 给 定 下 而 言 的 . 

4 A 表示 (在 损失 函数 给 定 下 ) 所 有 的 容许 估计 组 成 的 类 . 
如 果 极 小 完全 类 存在 , 它 就 与 .x 重合 . 这 是 因为 .x 一 定 包含 在 
所 有 完全 类 中 ,本 身 不 存在 子 完全 类 , 而 且 如 果 极 小 完全 类 有 一 估 
计 是 非 容 许 的 , 则 去 掉 此 估计 , 也 组 成 一 个 完全 类 , 这 与 极 小 完全 
类 矛 逢 .从 而 就 证 明 T Rr eo Arie. 但 应 注意 ， 极 小 光 全 天 
并 不 一 定 存 在 ， 下 面 举 一 例 说 明之 . 

例 1.4 随机 变量 X (E 1, 2 ijs. | 

P(X-1)-0, P(X-2)—1—0 (0-0—1), 

行动 空间 D= (1, 2, =}, DO, 1) -1—0, L(0, n) ^n! ( 当 n> 
1). SIRRA 64 为: 84(1) —4, 8,(2) —j, M iE jin, 
0, 显然 是 非 容许 的 ,只 有 5(1) =5(2) =1 t, TERR. RO, 
6511) 7 1—6, 但 011 组 不 成 完全 类 ， TN 359b 


1— gf LL ; P eon. 


不 能 对 所 的 6€ (0, DR vr. 

Wald 在 他 的 著名 著作 < 统计 判决 函数 > 中 ， 给 出 了 在 一 定 条 
作 下 ， 极 小 完全 类 的 存在 性 定理 及 所 有 广义 Bayes So 18 
Bayes 估计 ) 组 成 一 个 基本 完全 类 ， 


A 
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62 ”平方 损失 下 估计 的 容许 性 


一 、 概 述 


ERBER O 是 实 轴 上 的 一 个 区 闻 (a, D), 求 可 测 实 函数 
g(8) (0 € 65 BS] i fi Vr , CL PRÉC JH 073 8 (9X Oad), 
和 (9) 2-0, V9 € 6, 在 求证 9 (0) 的 某 个 估计 的 容许 性 时 ,上 与 入 (内 取 
何 值 无 关 , 但 对 于 讨论 minimax 估计 , RARE RE BUT RATE 
感 兴 趣 的 是 minimax 估计 的 容许 性 ,自然 涉及 4(0) 的 形式 . 

由 于 平方 损失 的 特点 ， 往 往 把 估计 的 容许 性 问题 转化 为 解 
常 微分 方程 不 等 式 的 问题 .这 一 方法 首先 是 到 年 代 Hodges， 
Lehmann'™® Girshick 和 Sayago"! 等 人 在 处 理 某 些 指 数 型 分 布 
族 均值 的 容许 minimax 估计 时 ， 用 Cramér-Rao 不 等 式 把 问题 
转化 为 解 微 分 方程 不 等 式 , 然后 ，Karlin 综合 为 普遍 性 定理 . 同 
时 用 这 个 方法 处 理 了 p, 0) —g(8)r 2) 截断 参数 族 参 数 佑 T£ 
容许 性 、 1961 年 Katz 又 把 这 个 方法 作 了 综合 ， 并 对 在 限制 参数 
域 下 对 均值 估计 的 容许 性 作 了 讨论 , :近来 又 有 新 的 发 展 . 例如 
ZidekP? fj Brown!^'? 的 工作 ， 在 本 节 中 我 们 就 用 这 个 方法 来 
讨论 上 面 提 到 的 问题 : 请 注意 : 由 于 平方 损失 是 严 凸 损失 函数 , 不 
失去 一 般 性 , 2835 et 8(w) 是 非 随 枫 化 估计 . . 

引 理 2.1 假设 (0)>>0, T (0) Z0 X (a, b) LÉST MRA, 
H5 a-c«b Wi, EB 


fear BoD RD 
[a9 (Haa) O Q3) 
BUR T () WO AA 


T (6)Q(8) d8  k[Q (5) T" +Q a qs : 1 ] (2.8) 


对 所 有 OMNES 成 立 ( 式 中 b Nn. 
WW 7'(89) —0, a. s. LL]. (L Jy Lebesgue WHE), . 





证 i) dE lim inf Q(t)72(65) 一 4>0,， 则 对 任意 固定 的 
cE (a, 从， 根据 (2.3)， 存 在 常数 I, ovo, 使 得 
H (ta) af” T (8) Q(8)d8 « K' Q5) T3 (15) CH e «ts b), 


RUP H'QG)-TQO)QO), a. s. L. 因而 : 

H? (13) SKK RÆ (1T (12) — Kt H'(t3) CH e«t b), 
TUN ec, H H(e)7—0, 由 于 五 Cia) EXER, ^os Co>01, 
Wh rx i | 
9*6) SER /EP EL- H- CE 

QH Cota <b). | 
由 这 个 微分 不 等 式 即 得 


[, 4 «tab k^ ci (0) - 87:1 


( 当 co<t<b<b), (2.4) 
MERER 525 时 ，(2.4) 式 左 端 趋 于 无 穷 ， 耐 右 端 趋 向 有 限 什 
Eh) FR), 这 就 产生 了 矛盾, 故 
| H(i)s0 Quest), 
AM = T(0)-0, a.s. (c<0<b). 
又 由 于 6 网 任意 性 , 故 T(0)==0 a. s. L (a0), 
i) 如 果 ar | inf Q (7a) TH (55) =0, 则 由 《3.3) 式 可 知 对 于 


u-cti-«b, 有 

aq) s [ eu» (abso " O -&[-Q(5G' (1^. 
如 果 存 在 一 点 如 E (a, 5) 使 得 GCio) 7-0, 则 由 GORANE, 
微分 不 等 式 ,得 v 

PIG) -GOSS OOd (aci«t). (2:8) 
根据 (2.2) 式 , 当 t->a 时 ， 上 式 右 端 趋 于 正 无 穷 大 , WARNER 
值 ， 这 是 矛盾 的 ， 故 人 (一 0 (a<t<b), MM TO) 一 0, a. s. L 
(4 a<0<b), 至 此 引 理 得 证 . 
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5x23 4 Q(0) 满足 (2.1) 与 (2.2)， 如 果 gO) 的 估计 

NORR RO, DE DEAR, MERET W A KQO), 
使 之 对 所 有 的 E22 (artis), 有 
| (fee - ace .0) p(s, 02e 


«k [Q 12) 1^ ($3) p (m, ta) + QH) QI ? (5) p, $3)1, (2.6) 
这 里 p(w, 0) —dP,/dyu u 为 oc 有限 测度 )， 则 w) Æ g(0) 的 几乎 
容许 估计 , 
证 若 有 3, 使 得 当 a 时 , MUN 


RCO, 8*) —%(0)| C8 (0) -9(0*p(s, dp 


«Rn, 3) «x |, E) -902e Idy, 


f 3 i | (2.7) 
则 利用 熟知 的 平方 展开 式 DOR IP 
(8* (æ) —g (6))? 
= (8* (æ) -8(s))?-- B(8* - 8) (8—9(8)) + (8 — nr 
及 (2.7) 式 推 得 对 任意 0& (o, b), oH ! 


T(8) e |. GD -8 (9)*p(s, Ody 
«2( (962) -9* (9) (6(9) - (0) (o, Od. ` 
从 而 由 上 式 和 (2.6) 式 ,得 | 
f ro B60- -8*(Q)) 


x [f^ 6c - sex. Ople, 6)d8 an 
«ax | l8(2) —-' (2) | 


x [QW QI? (t) pl, t+ QGQU* (60 p(, &)1dp 
« 2K [Q (ta) Qi /2 ($3) T1? ($3) FARQI (4) 27? (421 
—— QU at «ty cb), | 


, e 463 à 





上 式 最 后 一 步 是 利用 Schwarz 不 等 式 ， 对 上 述 不 等 式 应 用 引 理 
2.1441, Q1(0)T (0) 20, a.s. L. hie TO) =0, a.s. LÆTO) 
-0 时 可 得 R(0, 5) - R(6, 8*), XWH T 5(2) 是 几乎 容许 估 
i. 

T 假设 Pa) 满足 对 任意 的 CO ABCD d 
P,(8)7-0, 则 存在 日 的 子 集 A, 42. L(A) >0 及 Ps(B)>0( 当 
6€ A), 则 几乎 容许 估计 6 是 容许 估计 . 

证 车 6 是 非 容 许 的 ， 则 存在 6*<8, 至 少 存在 某 个 9,6@， 
Rdo, 9) -R(0, 89), $ B-—(z:045'), [go —(84-95/2, i: 
意 平方 损失 是 严 凸 损失 | 

(3 —g)*«[(8— g)*- (8* — g)*1/2, 
且 在 EB 时 , 严格 不 等 号 成 立 ， 因 为 P,(B)>>0, 由 假设 知 存在 
ATO, P,(B)>0 GQ40cAm») R(0, 5") -R(8, 8) Q40cA 
时 )。 这 与 8 为 几乎 容许 相 了 矛盾 ， 故 8 为 容许 估计 . 


二 、 指 数 族 均值 的 容许 估计 - 


定理 2.2(Karlin) AMIER X 服从 指数 族 分 布 , X Te 
有 限 测 度 久 的 密度 函数 为 l 
p(z, 0) — B(O)exp[0T (z)] (a<b<b), (2.8) 

车 对 任意 cE (a, 5) 存 在 常数 和 >0 R k, 使 之 


f B ^(8)e "*dü—o (Q4 t, b), 


f BO dioe (4 tia), 
RI ET (2) + / (1--2) 3& BT (2) =g (0) RE, 
证 WRO- Q.(0) -1, 由 于 
9()- -8(0)/8(), 


PUT (z)--kX , B'(8) 2 
[eR BOS ROLO e dg 


"E 
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m | pi (g)det oo «pr p^ (B e*t: 9g (g) dé 

-— | (1 +A) -1 pu (8) g? C x) | fs ] 

« (L2) 1 [Q (2) p(, ta) QE) ps, 101. 
因此 定理 2.1 ]2& FERRE. EET (9) c kx] / (1-3) J& g (0) BULL SP 
容许 合计 .再 由 于 ?2P(w， DARHA, 由 定理 2.1 的 注 知 , 定理 
的 结论 成 立 . 

我 们 利用 定理 1.1 及 定理 2.2 来 证 明 下 列 的 有 关 指数 族 均 信 
某 估计 量 的 minimax 容许 性 . 

例 2.1 若 损 失 函 数 取 (yg (9) 一 4)?/o?(9) (此 处 oa(g) 指 指数 
族 分 布 的 方差 ), 同时 有 随机 独立 抽样 的 结果 ma, ma, ce, ms, 则 有 
下 述 结果 : 


D 样本 均值 zo L3 a EEDAN N Qu, DRI I 


Wf minimax fib. 根据 上 章 88 的 结果 ， 当 限 制 M? Ho 时 , cd 
是 minimax (hi. 

2) xz 是 Poison 分 布 均值 2 的 容许 minimax 估计 。 

8) z 是 二 项 分 布 均值 2 的 容许 minimax 估计 . 

“多 车 损失 函数 为 (@- 人 2 Wi (2-7 ^/ n /2) / (a / ^) T X 
分 布 均值 2 的 容许 minimax fip. — 

5) à— 31a? / (--2) RERAN N (0, o?) 的 方差 o 的 容许 
minimax 估计 ， 还 应 指出 , 对 于 N (o, 0°), EuR o? ERAR, 
上 述 5 仍 为 oa 的 容许 估计 .这 是 因为 , 若 有 另外 的 估计 5”, 使 

E((8* 一 ac3)311， a?) &E((9—o?)*|p, c 
对 —eo-j-oo, 070 成 立 ， 必 然 也 对 ==0 成 立 。 从 定理 2.1 
的 注 即 知 : 8* 一 6 a. s. L， 从 而 证 明 6 是 容许 估计 ， 但 在 例 1.1 中 
EA 5 的 风险 为 —— ty) (E) fluoj 时 趋 于 co. 
因此 ， 8 不 是 minimax 估计 . 从 上 述 推导 中 ， 说 明 在 损失 函数 
3i (o? - i? —d)?/ [cas(cs 二 HU) 十 Ma 十 2)] I, EXE 9 J& — BÓ 
e 498 è 








o?’ +u? RZ minimax flit. 


三 、 截 断 参数 分 布 族 参数 的 容许 minimax 估计 
现在 考虑 一 类 截断 参数 分 布 族 参 数 的 估计 ， 此 分 布 的 密度 函 


c, oya [1O 0n (2) 
o, Xt. 


X, Ak 6-—(0, oo), gO = Jr (doen, f row- a, 


我 们 的 目的 是 估计 9 "(0) (0<a<co) 易 求 出 它 的 UMVUE 
X (a--1)7 ^(2), 由 于 
Eleq-"(%) — 97" (8))? 
= (c (2a-- 1) —2e(a4-1) ?--1)g?^(9). 
显然 , 当 c-(2a 十 IXa 十 -+ 时 ,使 上 式 达 到 最 小 . 这 说 明 UM VUE 
(o--1)9 (zw) 不 是 gq“(0) 的 容许 信 计 . TIRE) "ig^*(m) 
这 估计 量 的 容许 与 否 , 由 下 面 定理 回 答 ， | 
定理 2.3 对 分 布 族 (2.9) 在 平方 损失 下 ， 
ðo (v) = (2a-- 1) (a-- 1) 97" (z) 


tos 
(2.9) 


是 9 ( 护 的 容许 估计 ， 车 损失 函数 取 为 4*(0) (g^ (0 ay, 则 . 


ôo ie q^ ^ (0) HJ YF. minimax fis He 
证 利用 定理 2.1 来 证 : 4 Q() -a(0)|d (1, 


Q. (8) — (9 (£a 55 (9) >0, B^ Qua (a--1)-3 由 


m —— Kaoa- f" rof rade) ae 
| PS s 


(5 Xd 或 t >Q m). 
- 当 0<z<t 时 ,利用 g™*(z) 的 非 降 性 ,得 


er 人 -rp DORO, 
< Gc res c lv (iab 


» 408 * 


dz. uda s Nb 





« (L-- 8) (1a) 7r (e) A (8) 9 Ga] 
« (14-8) (1a) 1 QCG) Q1^ (43) pim, ti) 
Qs) QI" ple, 13)]. 
M dvd, EXE, p(w, QE 才 有 正 密 度 , UC 


| [8g “(%)—g "(0)1pls, 60)Q(8)Q1(8)40 | 


7 eter «co —q' *(0)1p(v, 0)Q(8)Q1(0)d8 | 


= | — (a4-1)71g7* (2597: (8) |2 
+r (2) (a4-1) 191** (8) [2] 
一 | (a4-1) 1915" (55) [1— 97* (2) e" (&)1 |] r (2) 
< (a 3-1) ?g*** a)r (v) 
= (a+ 1) Cta) Q1" (ta) p(z, ta) 
« (1-- 8) (L2-à) 1 [Q (3) Q1" (5) p(s, t) 
+Q (t3) Q^ (t5) po, ta)], 
因此 , 定理 2.1 及 其 注 的 条 件 成 立 , 故 60= Bq-*(w) 是 q (8) 的 容 
许 估计 ， 其 平方 损失 的 风险 为 a (a+1) 797? (6), 车 损失 函数 取 
g?* (8) (q7*(8) —d)?, Bg-* (x) 的 风险 函数 为 常数 ， 由 定理 1.1 知 
它 是 minimax 估计 , 定理 得 证 ， 


例 2.2 
nz" 1/9"  O«c«-0 
pls, 0) 一 lo 其 它 
它 是 (0, 89) 上 均匀 分 布 的 % 次 抽样 结果 顺序 统计 量 中 最 大 值 的 分 
布 密度 ,现在 估计 0, 则 在 损失 函数 (0 一 Se 下 ,0= ioo" 
1) iz 是 容许 minimax 估计 : 
用 同样 办 法 , 可 证 与 定理 2.8 类 似 的 定理 . 
定理 2.4 若 分 布 密度 为 
q(0)r(z), 当 276, r (2) 70; 
PODES A 
0, $6. 


此 处 。 bo<g<co q (0) |, Gods, lim a(6) -0. 





(0<0 <00), 
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则 在 损失 函数 92 (0) (9 (9) d)? 下 ，(2a 十 1 (a1) 7q “(w) 是 
q * (0) RAF minimax firi. 

证 明 在 此 略 , 留 给 读者 作 练习 . 

例 2.3 
ss - [0-90 Bem (e 

0, 其 它 . 

MJ e” (e79?—d)? 损失 下 (n+2) (n4-L) tet E e? RR minimax 
估计 , 此 例 在 可 靠 性 中 有 重要 应 用 . | 


四 、 限 制 参数 空间 的 容许 估计 问题 


下 面 讨论 限制 参数 空间 的 容许 估计 问题 例如 指数 族 分 布 
dP,/du— (v, 9) 一 B(0)exp[90T (2)], 自然 参数 空间 为 (a, 5 — 
(8:0—8(8) «co), a 可 取 一 o0; 5 可取 十 oo, a, b 可 以 包含 在 区 
间 内 , 也 可 以 不 包含 在 区 间 内 .有 时 , 我 们 只 需要 考虑 部 分 参数 空 
间 的 情况 。 Katz 建立 了 一 个 一 般 性 的 定理 ,讨论 了 在 6— (0:07 
bu OE (a, 5)} (a 6-0) 指数 族 均值 gO) — — 8 (0)B-1(9) 的 
容许 估计 问题 . | EE 

3182.2 3t Q(0) 7-0, T (6) 2-0, 为 (go b) sk (a, 9o) 上 的 可 
测 函 数 ,而且 | 


| e+)ab->co(--o) Boo). 
若 对 某 个 常数 及 TOWE 0000 | 
f T ()Q(6)48 | «XQ TQ) (0o<t<b 或 acth). 


则 了 (0) —0, a. s. L, (8€ (0o, b) 或 6€ (a, 09), 
证 明 与 引 理 2.1 类 似 , Xe CR. 
dP, 
d 


定理 2.5 若 多 ~{Ps 9€ (a, b), Tople, 0) (为 0 


ARW, A gC9) 的 俏 计 65(%) 在 平方 损失 下 风险 有 限 , @(9) >0 
满足 引 理 2.2 的 条 件 , 且 存 在 Qi (8) 0 3j Gotb (a<t<0o) 有 


e 408 o 








|F E - «99000. Opa, 646 
«KQG)QU Ople, t), | 
则 (e) 在 Go<9<b (a-—8-09) J& LEAVE. 车 进一步 假设 
定理 2.1 的 注 成 立 , 则 6 为 容许 估计 . 
证 明 如 同 定理 2.1, 利用 引 理 2.2 即 得 证 . 
定理 2.6 若 王 遵从 单 参数 指数 族 分 布 , 参数 的 自然 区 域 
Q= (a, b) 为 开 区 间 (a 可 为 — oo, b 可 为 +o), O= (bo, b) (或 
(a, 09)), a-C0o b, EFESO Ek, 使 得 
f, BrO dl >o0 Qui). 
4 Tæ) =T) Hak) AA, W 
T (2) -+ B1*^ (Oo) i k (1--A)7i | 
b(a) -1 
- ( | j p (B) gere d) 25 <T, (a) <ta; 
t, 4 Ti) «us 
(a, 当 Ti) ta 
Æ gO - E,T (w) 在 上 的 容许 估计 ， 此 处 
| i, — Sup {i iu (— 90 «T (a) <t) =0}; 
is inf { p (£T (s) <+) =0}. 
证 NM 4T <t B3 b-oo, 


lim 9? Bue ( 0) ge X 
各 一 Do 


一 lim p? | one 人 | PT) dy y 的 | 


je) = 


一 2 0 


im e(l g? T-T) qi, (y) ) 


89» . 


slim e(l TS e" dy ) - a. 
FOAR, But Q 为 开 区 间 , ebb) 不 属于 O, 故 B(O)-0 
(Ga (5))。 综 合 上 面 ,就 有 | 


| gu (9) ge TT) tAk) dg 一 co; (2 .10) 
e 


V 
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fim pi (8) gt a3 一 0. (2 。 11) 


6a(b) 
(2.10) 式 可 用 来 说 明定 义 的 9 有 意义 .此 时 对 (go 5) 的 情形 , 经 
计算 ,有 
f 《 9 (z) —g (8) ) pu (8) e? Tax) d9 
"om | [T 1(2) + 81** (B9) go TG XY) (1 +A) -1 


x (| pg (geo G1» dB) Tg (8) 8-1 (8) | 
x phu (8) ge EAD d 


= (14-3)71 | BHA (g)gf T0) 9330 — 143 (G0) gt CT) 

BIO eco [^ gira (8) gt 149) do| 

o 
X (f. pi^ (getan d) 
Be 
an (i + À) -1 | pi (2) g* TA £A» e pre (o) eo CI) A) 
-1 
144 (y ge T4 x1) 14A (A) g0 (T(E) +ak) 
x| 6)eewrmag(| puaran ag)" ] 


m (1A) f pC or em [ye) —f (00)1d0. (2.12) 
其 中 | 
fQ A BHA (7) e*t (| + (8) e? Teta d$). ; (2.18) 


f) -f() UT (&) -3&— (13) (2 +f (21 
HF g0) = Var T (2) -0, 所 以 9g(9) 为 增 函 数 ,从 而 


(1 ER X) y (2) < (1 4 A) | g (8) p'*^(9) g? T GAY) dO 
( | i pi*^ (O) eC d$) =T (£) 十 Ab 十 f (2). 


由 此 可 知 , f' (2) 7-0, S-S (09 20 (4 b>z>0). 从 (2, 12) 
il; | | 


e 4920 o 








0< | ( j — g (O) ) B1*^ (O) eo Trak) dô 
| « (12-3) 7181 (gy erro), (2.14) 
当 Za(z) 2t, J=ta, Hi ti, ta RESI, 6 (0) <ta dk 
0< | | (13 — g (ON) B1*^ (g) T *»» qg 
- a HAJTE gt» (O) er THAN | 2 | 
十 | E d OR XAR ) gie (Der re t9 A 
« (14-4) 181^ ^ Lk (2.15) 
TTL G) <h 时， G-t, BERG | 
| | (& —9(0)) 8'*^ (0) gh ea d9 | 
< (1A) 718199 (g) gita |. (2.16) 
我 们 取 O —8*(0)6'*, Q1(8) —1, (2.14) ~ (2.16) 式 实际 上 满 


足 定理 2.5 中 不 等 式 的 要 求 , 由 此 本 定理 得 证 . 
例 2.4 i X-—N(8, 1), 6=(0, oo), Bul 


8 (2) soteh / ft e` dt & z-- V (v) 
是 9 在 日 上 关于 平方 损失 下 的 容许 minimax it. 0 
证 由 于 正 态 GA RT RIO, B(0) =, 令 和 一 0， 
| ao- QM >00), 
由 定理 2. 6 可 得 3(z) 为 (0, cc) 上 8 的 容许 估计 。 再 注意 : VE) 
= —V (2) V (2)], TIRE 得 
E(X —8)V (2) = (22) 人 《2 一 -OV (e-em gg 


oy (m V" (wv) ee- da 
<- HE QO QCH Q0) 
R(0, 9) — E,(8 — 8 (z))? 
—14-24V (X)(X —0)-- EV? (X) 
-1-0E, (X)«1 Q4 60c(0, o2). 
vam. 











利用 例 2.1 的 结论 即 证 得 6(2) 的 minimax $E, 


$3 单个 位 置 参数 Pitman 估计 的 容许 性 


对 于 转移 分 布 族 
P(z—8)), 0C R*, z€ R*, 1= (1, --, 1h, 

Pitman. £r 1939 年 曾 从 Bayes 观点 提出 了 一 个 有 名 的 8 的 估计 
0 
章 我 们 已 证 明了 此 估计 是 最 优 同 变 估计 ， 本 节 将 讨论 此 估计 的 容 
许 性 ， 介绍 Stein. 的 工作 "8， JT 

为 了 讨论 方便 起 见 , 记 xiY-F(X- 0Y), 了 ~v(y). D 
知 了 是 最 大 不 变量 , 它 的 分 布 与 参数 无 关 .。 若 E(X Y)+0, W 
XC X. BEOX.Y) 6-1, 2,…, k), W E(X Y) 一 0， 因此， 
不 失 一 般 性 ,假设 (X11 了 ) —-0, MM 

定理 3.1 # EQ(Xi|lY)-0, 

B(ES(X1| Y))* «oo, 

则 在 平方 损失 下 , 是 0 的 几乎 容许 估计 . 若 进 一 步 假设 
-—p(az|y)dz, N) c, Æ 0 的 容许 minimax 估计 . 

证 ”我 们 采用 定理 1.4 的 办 法 来 证 明 ， 如 果 m. 不 是 9 的 几 
SEA ETAT, IQ E Y), 使 得 当 RS” 
时 ,有 


E,(o(X, Y) -6y« E, Qr -6)'- [av waP (ely), (8.1) 
EA (9.1) PE RMCRAEE JR EIS O 的 集合 s， L0, Ki 
存在 >O 及 有 界 集 合 E, 使 L(L) >0, 3E BS 0€ E, i, A 

^ Eyp(X, Y) 0)? E,(X4—0)2— e, (8.2) 
3 0 的 先 验 分 布 为 Oauchy 分 布 Q(go-0D， 有 密度 函数 ， 
a^ !g(007 =o n+00 + (o>0, ERY, 
由 (3.1) 与 (3.2) 式 可 得 
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Re, p) ê | Esp (X, Y) -6)070 (0075548 


« E,(X1—0)?— ef o`tga (8o t) d8 
<E Xi—ekL(E)/e (o1), nd 
上 好处 常数 km inf (14-03) 710. 
Ri EX o "f (o) - E Xi-inf R(c, p), 如 果 能 够 证 明 


f(o)0(4 oc->co 时 ), 则 与 (3. 9) 式 产生 矛盾 WE 了 反 证 的 假 
设 , 定理 就 能 得 证 . 
首先 易 证 inf Ro, 内在 2 一 五 (0 X, 六 达到 ， x 
og f(c) -E,(X4—0)? - E,.LE(0| X,, Y) -8]? 
—E.[X1—20X;4(E(0| X1, Y))] 
—E,[X1—E(80| X;, Y)]?. 4. (3.4) 
这 里 的 E, EHL XXO, Ba X Bo) 上 的 概率 测度 (为 aP (zw 一 01) x 
o !g(0o 一 ) 鹃 ) 求 数学 期 望 。 为 了 进一步 弄 T fo) RI HH $a 3s 
A, 先 需 证 明 对 任 一 BE GBe, 有 


P (Bl, 分- 人 g00ddF (8—81) 
(f q (0o) dF ez 一 p) . 8.5) 
为 证 (8.5), 先 给 出 :| 了 的 绝对 无 条 件 分 布 为 
PCe y) a? |^ «(807) F(—019)d8 
-| Fe - 81d (007) 
一 -F Q(&o5)d,F (s — 6|g) 
-| erem. 


其 中 第 三 个 等 式 是 对 R-S 积分 实行 分 部 积分 ， 在 最 后 第 二 式 中 
令 2-0=2 再 将 % 换 为 9， 即 得 最 后 一 式 、 将 上 式微 分 , 得 
«19 











2. Po, =f oca ( *- dr ly 


T 
~ a o^*q (9o) dF (@—0 |y). 
于 是 对 任意 ACAA, BC. 及 任意 实数 二 .有 
| ferita (o7 G - 01)dzdr Cy) 





-- jf [oeod dF (Oy) dedo (y) 


g 
=-| (f_o) dod, F (8|) dv) 
E | J A i o^! Is(2)q (za 7) dzdsF (0|y)dv (y) 
-f (7 forts Gaeo ded cir ély) dy) 


-- |, ra- elo s()a(007)à» (yao. 
若 记 (3.6) 右 边 为 KQN v, 切 ， 则 上 一 等 式 说 明 
fz (B; v, y) -2 P, (œ, y)de dwy) —— 
~P((Xs, Y) EO, 0EB) 
对 于 任意 O~ Ax (一 co, 1) ERY. AA LRSRER ERR 
定义 , 即 可 推 得 (3.5) 成 立 , 再 由 条 件 概率 与 条 件 期 望 的 关系 式 知 


E(9 Xs, Y) - J^ 0a0907)d,F (a 619) 
Bi (3.4), GORRA f (o) 的 表达 式 如 下 ;， 
f(e) -全 q (Bo) de|dv 


| | IRZ (o3) ds. (s —0' |y) j 
OO 内 
" J g(a ddr F (a—0'|g) 


x([ aed EG -01) . QG.9 
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-ja «05776 | 
1 [me EAD rea 
-eo |. (Z= )a,F (ly) | 
- faf” a (60720 | 
- Pew PE ebd 
| É | «( 22) aur ly) nt 
-fof dF (ely) - a 
1 ee] 2— as 


7 (E)E lo) E 




















-| zl (|) opal d I (3.7) 
人 ay | 
考察 (3.7) 右 端的 被 积 函数 , 记 | 
go, P) -[ I (322) eren] 


Oo 


n (t. d( )a,F H do 


对 (o, PARREREN TAE Schwarz 不 等 式 ,得 。 
P(o, F) «[ 1 | rg( 2) d, o dz 


9. 











-0 (aF G) ^ o3. (8.8) 
令 为 满足 ”ma CD -0 | tar GD 一 和 的 所 有 概率 分 布 的 


集合 , 并 令 : os 
- F 
PA, o) sup Q(g, F). 


„ġid. 





由 (3.8) 显而易见 有 
V (A, a) 一 Gay (和 /ca2， < (3.9) 
M A«1/2, 了 EU 时 ,有 


j s(e 04 G) FAC, 2) inf ge) 
>| (Sor (kay) AdF (23) 
zü- ij (Br 1+o)) Az(6m(14-2?))71. 
使 用 Ohebyshev 不 等 式 得 | 


(fime mare) ) 
=(| nte(e-$) -ac)1arG)). 
«[ var ep [2(«—7) - e (a) dF (9). 
将 上 面 两 个 不 等 式 代 入 60, PIA, 即 得 
6( F)«6m | 7 (+0) de PF (2) 
x [^ te —a()1* aF 人 
-ELST arG)| [+--+ Aa) 


» 22 dF (q) | | 
2 


E E i) 
i exe [" 1| [2r o2 ud Jez} dF (1) 


dz 





(1-r-225)? 14-2 
-1|™ TT -d- 2 2 
= 6AT Fare (rur decet, (3.10) 
此 处 ce (1-4-2?)7? dz, 
H (3.9) 5 (3.10) S BI Aj 


V, < 





cg, 4 Ag ?«1/2, 
o^, KE. 
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这 样 就 有 


f (c) -fof 下 ea era a 


" (Z=) aF Oly) 
dvl) +o | . „ORO 


1/2«A« 


«co 一 | 


0 «ACD «c?/2 


<e p ODO) 


O«A«5o0*/2 


toj 


”十 c2 A3? (y)dy (y) 


n <A<ot/2 


V EOLA 


31/22 «oo 


一 >Cw\/8/ 5 下 AS? (adv  (o— o). 


对 任 辣 0 二 sa 过 1 成立， 由 于 s 的 任意 性 ， & f (o) »0(o—co). x 
与 (3.3) 式 矛盾 ， 于 是 定理 第 一 部 分 得 证 . 
下 面 证 第 二 部 分 , 令 
S = i, y): plti yY) Ex}, Sy= {v1: sple, YY, 
若 S 的 工 xv 测度 为 正 , 则 
|. ago g(x—8|y)de— [o], da p(a—0|9y)d0 
- fof, dæ=Lxv(8)>0. —— a 
因此 存在 一 个 工 正 测度 集合 全 , 使 得 
j^. p(z—0|g)da0, 46€T. 
定义 9o (21, y) = (vu 9 0, y))/2, 则 易 知 当 (wy y) ES 时 ,有 
po (us, y) — 6)? L010 + ples, 9) —0)"/2. (8.10) 
mix m 力 ES 时 ,上 述 不 等 式 取 等 号 ， 注意 (3.11) 式 , W 
Es[go (X4, Y) -0]? « LES (p CX3, Y) — 6)? 
+E, (X10) /2« E,(X1—0)?. Q48 €T W). 
这 与 X, Dip XARVAHZPJGR. W Lx»(5)-0. 这 说 明 wi 是 9 的 容 


T 





许 估计 , 又 因 它 的 风险 为 常数 , 故 也 是 minimax 估计 , 至 此 定理 证 
5t. 

定理 3.2 T X =(X;, X s, "y Xy)! 有 概率 密度 p(z— 
100), 0c R', HE 


| Pp(«—10)do Tipo — 1646 2113/2 
| P] | p(s)dz — oco, 


[p«—1)d6 [ps —6)a6 
(8.12) 
则 Pitman 估计 8- Batu OJA p(e—10)d0 是 9 的 容 
许 minimax 估计 (在 平方 损失 下 )， 


证 令 上 一 (3 一 Xp X—X34), 则 (Xi, YY 的 密度 
函数 为 (oa 一 六 tyi —0, =, yu i21 —0), 可 见 了 的 密度 函 
数 为 

s-[ 5(21—0, y1--21—0, --, Yr-1+ m1 — 0)de, 


-| Pn, yin, t, yx-1d- dn 
人 po m0, os, 00) dg 


- [»(«—6))6, 


其 中 作 变 量 替换 m=z 一 9 UR nert, 
ii Z-.X,—HE$(X4,|Y), di, EQ(Z|Y) -0, 而 
COD E b(s, pta, =, 0 | 
aO (0 8)' p(w — 18)d8. (i=1, 2), 
(3.18) 


所 以 由 (3.18) 易 知 
BZ |Y) = E,(X2|Y) — EE (X4] Y)? 


| 6p (a — 81) a0 | ~ 6p(s—81)d8 J 
j. r-o \ f” pe-a / 


OO 
CG 





Bx di BE UE AD, 定理 3.1 的 假设 成 立 , 因此 6 的 Pitman 估计 
z= r bp(w— 61) d6 y f. p(z — 61)dó 


是 容许 minimax 估计 .定理 得 证 . 
定理 3.4 jJ OX-—(X, X, XO) 具有 概率 密度 
0 LO) (00-0), o= (d, Ba, ^, B)’. 
震 损 失 函 数 为 了 (2, d) ^ (log 0-4)? 以 及 


(7 87 Gog 6)*p(s/0)d8 
" f. 0» (u/0)d8 


| | 6—*-:1og p(w/0)d09 ) 站 
= 一 -一 一 一 «co. 
f 6-1» (a/8)d6 


则 fogó- [^ 8-*-110g 0p (n/0)d6 A [op (a/0)d8 
是 log 0 的 容许 minimax 估计 . 


证 把 刻度 参数 化 为 位 置 参 数 来 处 理 ， 令 了 一 (下 s/ 下，… 
X/X3), M log|X:| 代 替 过 去 位 置 参数 的 Xo 利用 定理 3.1, 即 


可 证 得 定理 .证 明细 节 留 作 练习 . 


注 1 定理 3.1~3.3 的 主要 条 件 比 较 复杂 , 不 便 验证 ， 现 在 
给 出 方便 的 充分 条 件 ， 车 存在 同 变 估 计 PX), i Ep)’ 
— «oo (对 于 刻度 参数 改 为 E;|p (X) js<coe), 则 定理 的 结论 仍然 成 


A. | 
证 因 9p 是 同 变 估计 (ze 一 Zi 一 0(2) e A 
Eso (X)| X2- X1, =, Xr— X) Eo(X1| Xa 
— Xs, e, Xy— X1) = p(s m0) —9(2) 一 对 
= ĝ=p(X) —Eo(p (X) |ta— t1, *, &y—23). 


= t1 — Eo (21| £a — 4, en X823). 
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由 于 13| 是 ec BP, Dao b]tsc4(1a9| 十 153|)， 故 而 
Eo| 8 |*«4LEo| p CX) [*2- Eo | Eo (P(X) | Xa 
— Xs, cs, Xa Xa) [P1<8Eo]p (X) |*«co, 

此 外 ES(Eo(0?| Xa- X4, -, X,— X2)? « Ep|0|*«o, 
因此 定理 3.1 的 条 件 成 立 ， 对 刻度 参数 问题 , 可 同样 论证 . 

注 2 如 果 定 理 3.1 不 假设 Plzw1y) 有 概率 密度 , 则 最 优 同 变 
估计 不 一 定 是 容许 的 ，Blackwellcs 曾 给 过 反例 . 

注 8 ”是否 存在 比 定理 3.1 更 弱 的 条 件 而 使 定理 的 结论 仍 成 
立 ，Perng 给 过 反例 "4,， 说 明 除 非 男 加 条 件 ， 否则 , 8/2 KEKE 
不 能 降低 的 . | 


例 8.1 2 Z x, za, …, Ba X iid (na>), YERA [e- i. 
C3] 上 的 均匀 分 布 ， 它 的 顺序 统计 量 为 aose M 


Ô = (caTzm)/3 为 g 的 容许 估计 (平方 损失 ). 
易 见 分 布 属于 转移 参数 族 , E. co. 故 定 理 3.1 成 立 ， 


其 Pitman 估计 为 


^ 20 T1/2. aur1i/2 
0, -| 0 a6 / | - dO = [we H Zind /2 


£i-1/2 
是 9 的 容许 minimax fü. 
ii) 车 vi， a, e, 04 (a>) A iid, 具有 Cauchy 分 布 密度 为 


x71 (1-4-(s—6)7) 2, Wl 


&- [rege Jr emo je 
是 9 的 容许 minimax 估计 . 

由 于 Cauchy 分 布 为 转移 参数 族 ， 当 n> 时 ， 其 样本 中 的 位 
33 G4 n 为 奇数 时 为 (riri Sn 为 偶数 时 为 Decay 72608 ,,1/2) 


的 三 阶 矩 存在 有 限 。 故 满足 注 工 的 条 件 ， 结 论 得 证 . 
iii) 令 Ti, a, t, wn 为 iid, ~N (0, o°). 因为 logo 的 一 个 


同 变 估计 log y 23a1/n f S BEES, 故 应 用 注 工 知 
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lgo-|. g^" ' (logo) exp| - Sui / 2o? to / 


0 1 


f g7"? exp| -> y 2g ' de 
-[. iy ' (log y) CPP a JT ge cma, 


0 


-一 (的 /er 人 


Jk logo 关于 损失 函数 (logo 一 四 ?的 容许 minimax 估计 。 


$4 多 维 正 态 分 布 参 数 估计 的 容许 性 问题 


多 维 正 态 分 布 在 实际 应 用 中 有 它 特殊 的 作用 ， 也 是 数理 统计 
中 研究 比较 多 的 ,自然 是 我 们 注意 的 重点 ， 对 它 的 均值 及 协 方差 
阵 的 估计 ， 历 来 采用 样本 均值 及 样本 协 方 差 阵 ， 不 同 的 估计 只 是 
协 方差 阵 乘 上 不 同 的 常数 因子 ， 原 先 人 们 都 不 怀疑 这 种 估计 的 优 
良性 .但 是 随 着 容许 性 理论 的 发 展 ， 情 况 就 有 了 变化 ，James 和 
Stein 在 50~60 年 代 举 例 说 明了 在 平方 损失 下 ， 三 维 以 上 的 正 态 
分 布 的 样本 均值 不 是 均值 的 容许 估计 ， 随 后 又 举例 说 明了 依赖 于 
样本 方差 的 线性 函数 也 不 是 一 维 正 态 分 布 的 方 关 的 容许 估计 ， 这 
就 进一步 揭露 了 多 维 正 态 分 布 的 内 在 联系 ; 引起 近 二 十 年 来 对 这 
个 问题 的 广泛 研究 。 本 节 将 介绍 这 方面 的 某 些 研究 结果 ,分 下 列 
四 个 方面 前 述 之 . 


一 、 方差 估计 的 改进 
假设 XN u, °), ER, >00 WRA, Li, Da, tg Vn 
是 从 X 的 简单 抽样 , 我 们 的 目的 是 售 计 o^, a>0 已 知人 一 工 即 佑 
ie; a=2 Miir o). 损失 函数 为 (o —)/oe*— (o7d—1)*, 
首先 考虑 在 仿 射 变换 下 的 最 优 同 变 估计 ， 众 所 周知 
iua, De)’ 
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构成 (4，c9) 的 充分 统计 量 ， 又 换 失 函数 为 凸 损失 函数 ， 我 们 可 好 
制 在 依赖 于 充分 统计 量 (z，s”) 的 非 随 机 化 估计 的 范围 内 来 研究 我 
们 的 问题 、 在 上 一 章 已 证 明了 对 位 置 刻 度 参数 族 , 在 平方 损失 下 
1 
估计 位 置 和 刻度 参数 , 在 仿 射 变换 群 s-lU o) c>0, «e| 


变换 下 为 不 变 判 决 问题 ， 变换 为 对 Y9gE 乡 ,z= (2s, Ut Da) s 
gw 一 oz 十 el， g(u, o)= (cp +e, co), gi- e d, 

此 处 g. 9^ 与 9 对应， 分 别 属于 在 参数 空间 与 行动 空间 上 与 多 同 
态 的 变换 群 乡 与 ^. RATE, D 的 刻度 参数 估计 5(z, $9) 
满足 | | | 

Sls, $9) —g'(8(z, 8)) = (er +e, cs?), — (4.1) 
ER ems, e= —s577z, 得 5(2 $) =O, 1), X18 3| o* 的 一 
般 同 变 估计 形式 cs OE c 是 常数 )。 由 此 不 难 求 得 o^ 在 平方 损 
失 下 的 最 优 同 变 估 计 为 cos, IAE 


co= Ep, 1G / Eo, 1(8°°) pupa -- 


(4.2) 
它 仅 依赖 于 样本 方差 。 而 如 在 本 章 8 1 所 述 ， 样 本 均值 也 提供 少 
量 方差 的 信息 . 从 直观 上 说 明了 最 优 同 变 估计 cos" 还 有 可 能 改 
3t. 现 考虑 在 刻度 变换 群 ( 即 仿 射 群 中 e— 0 的 子 群 ) 的 同 变 估计 


ELDER e-0, ec (S4) egan, niit 
dG, AIET, PODPRI, — (4.8) 
3uDUSR d(—z, 8) -d(z, $9) lg tir ia DL Qna? es, 故人 .3) 
式 是 合理 的 ， 现 在 要 找 比 co — URBS (4.8) END d, EEA 


度 变换 群 的 同 变 信 计 . 故 风险 函数 各 轨道 上 是 常数 , 它 不 依 问 0. 
不 妨 设 oc 一 1， 此 时 (nz’, 9) 的 联合 分 布 密度 为 


(2a) "S exp (- 27 (V/& — Vn i?) 
RE 


e 4222 





一 2(27 ) 4 exp( -i (vw 十 np?) ) 


x Sys 3 yu) Qj) ay) 


3 F fara E) fui) P, Q7 np’). 2d 
这 里 fi 为 z 个 自由 度 的 ?分布 P0) m 67/3, AH nz! R 
fuso 同样 的 分 布 ， 这 里 J~Poisson spia (5 )i$ nt 9.36 


量 . | | 
在 了 -条件 下 , ERR Weyl), 和 一 5 十 9， 它 分 别 代 
A QU SQU, 由 此 可 知 , 在 J ~) P, Q, s8 C P 


[r Co T Lr (See | 3 etapas 


KOMD (1—w) n/me ss (2>0, 0<w<İ), 
这 说 明 QJ o j^ Beta 4t B(T, LEAL), QU jo fen 


分 布 , 且 相 互 独立 ， 这 是 正 态 分 布 理论 中 的 一 个 重要 结论 ; 据 此 可 
得 mo 
eG) ^ EJ =)) -2r(-8- +5)/T (2 F 20 
Gus a E 
Ru) -RCh e) -R(p, dz, 9) — 
E, LG - 1) 一 (Q? yP- 
-E, i LE (Coos* — 1)? — (Q7 ^i GQ- 1) — D |J-3 
-E,, EE (Q? Co 和 Y8Q- 2B 


~ x (Q9 (eo ( Q7) *- c (997) -2]J -in 
= E, LE (26, (J) (eo (8477) — —Vb(s9Q7)). 


x (ca (j) AO) 23 ME" YERI- =j}] 
(4.4) 
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记 nps 
a) =270a G) (0, 02) 7 


— 9e/a? T ( o2 E20 Yr (23e y" f 


它 是 7 的 增 函 数 且 随 joo 而 趋 于 eo, WEA R y> 
TH. WEER y fil 34 0<w 时 有 


E Quo? —W (o) 之 0， 


—i (co)) ECO) (coo? +4 (@)) —1)) 20. 
H.(4.5) E MR 5-8 St. RU HO 
正 测度 ,就 能 使 人 .分 式 最 右 端 每 个 
J—j 的 条 件数 学 期 望 为 正 ， 因 而 
R(u) >0 对 一 切 o € BR! 成立. 

_ ja 9-3À WMG t-o, g(f) -u(o), W 
duin (DERMEE 

g =c, 4 0<t< [2Co (0)1 

ER 4 [2t (0)] t<i, 

(4.6) 


(4.5) 


s 
2 


(Cow 






=-(G (0) y —ÜOot 


现在 我 们 就 把 上 面 的 论证 写 为 如 下 定理 : 
定理 4.1 d? XoN(u,05, E, o?70 V? RA, om, 
La, t, v (nz2) HAEE X 的 简单 抽样 ,估计 c"\&>0) 的 损失 
函数 为 (do 一 了 则 | | 
e-| ost, 当 (PQ-Ë< [20565 (017 
eD, RE 
一 致 优 于 最 优 同 变 估 计 cot, 因而 各 也 是 or 的 minimax 估计 ， 
此 处 g(t) 由 (4.6) 式 给 出 . 
系 eR gE) = [2e904(0) 17, 可 使 (4.4 式 中 J=0 时 条 件 
期 望 达 到 最 大 。 也 就 是 Stein 所 得 的 结果 


ó* — min(cgs*, Q* (6,(0)) 1) 


(4.7) 
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在 4 一 1 时 ,得 





n 04-1 
o= mın nti $, CDI $ 
Sec ) «3 r= ) 
在 4=2 if, 得 | 
— min((n4-1) $8, (n--2) ?Q). 
— 7) 式 所 给 的 停 计 并 非 一 致 优 于 cos" 的 全 部 估计 
E, pii, a=2 时 


nzíg-i +2 

pf 0-9 1 da] 
niig-3 SEA 1 i 
人” aD AHE ria (4.n* . 


1, — StUL-F (na-1) 78, "E d Za BERE P B Fe] 2 8 EDS PH EE VES, 
但 不 属于 (4.7) 所 定义 的 佑 计 类 . | 
用 同样 思路 可 以 把 此 结果 推广 到 上 维 正 态 分 布 人 入 (ww, A) 的 
广义 方差 dei 4 的 估计 ,相应 于 Stein 信 计 为 
det Å= mine A dets?, EE P det (3 十 000 
(4.8) 
此 处 P$ (n2) (w 一 四) 。 


由 于 &> 工 的 协 方差 估计 ， 第 七 章 $ 2 求 出 的 最 优 同 变 佑 计 就 
不 同 于 常用 的 cs, 而 后 者 也 是 仿 射 群 下 的 同 变 估计 , 从 而 党 用 的 
ETERIK. 


二 、 三 维 以 上 均值 估计 的 改进 


E X-(X, =, XY 为 随机 向 量 , XN, I), 不 难 计 
EE X? =||? +p Bukux, HX 估计 有 是 大 了 一 点 ， 特 别 
是 比较 大 一 些 , 就 更 明显 .如 能 进行 压缩 ,就 有 可 能 找到 使 均 方 
风险 更 小 的 估计 , 如 何 压 缩 呢 ?可 以 设想 几 有 先 验 分 布 N(0,21y)， 
PRE udi? EHRT RS u W Bayes flit =b +b), 
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gut E ————— 
一 





fib fk BOR AGB, È i Elu] - bp U X EL X * julp 可 
H lj?» kiii, X8 LXI -ok f Vr ll, BR o ig de it 
b= ([o|?—p)p^*, 从 而 求 得 儿 的 经 验 Bayes 估计 为 


ey rro qe 


这 就 给 出 了 对 e 的 一 个 压缩 。 James 和 Stein 找到 了 如 此 形式 的 
估计 户 (c) 一 (.— (p-2) lole, 并 证 明了 一 致 优 于 常用 估计 >， 
近 20 年 米 有 许多 作者 进一步 研究 了 哪 一 些 估 计 一 致 优 于 常用 信 
Ws, 得 到 各 种 形式 的 结果 .一 种 更 普遍 使 用 的 形式 是 把 A) 中 
Pp 一 2 的 因子 换 为 or(|z|2) 的 形式 ， 而 且 从 这 种 形式 中 ， 在 p 
Hl, 找到 了 一 些 久 的 Bayes 容许 minimax 估计 .在 p 一 8、4 Hf, 
如 此 形式 的 Bayes 容许 minimax 不 存在 咏 ， 但 容许 minimax ff 
计 存 在 区， 下 面 我 们 采用 恒等式 的 方法 来 证 明 上 述 有 关 结 
man 

9524.1 B r.v XN, A), A pxp EXE, 车 


(x) 的 一 阶 偏 导数 存在 , | 56 | lu, a) oo, 





= |h (a) 1 
EX -AYRE m E(tA-5.h9)). D 
E,(X =W h(X)) = (20) F(det 4) | 
x| @-m he) Q1 M 
Eph BH BB-A,4y—u-(B)7(z—-u),u- (B) p, 
就 得 | | 
 E,(X — uy (X) 
-Gam 5|. (u— 2) BAB y) P" dy 
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-Qay iX qao One PR ay 


ij 


-h T , -iy-mn 
Qu) E fp bur BEP dy 


e (2) -2 (dot A) E 
x| * x buba 本 


R? i j= k 
-E,( 5, ms 遍 Lines (#4 2 h(a) ). (4.10) 
un bod , hp (2)) = hv), D= (m, s, 29). 
-2 ha) = (2) , A= (a4) ps; B aF (po)sx， 


px» 
"een 个 等 式 是 利用 yi 的 分 部 积分 法 得 到 的 ， 第 四 个 等 
式 是 利用 B'B 一 4 得 到 的 .至 此 引 理 证 毕 . — 
”公式 (4.9) 是 多 维 正 态 下 的 恒等式 . 此 恒等式 是 目前 解决 参 
数 估计 容许 性 问题 的 有 力 工具 之 一 . 读者 从 习题 中 还 可 再 看 到 它 
的 作用 . 
定理 .2 r.v ~N(, A), A70, rO 在 (0, co) 
可 微 且 r (0290, 0<r (i) < (p—2)2(34 tE (0, oo)), 则 
8 (8) = (1,—r (e A732) (&' A792) 1473) (4.11) 
Æ wif) minimax 估计 , 若 了 的 在 (0，ce) 上 不 便 为 零 或 2(p-2), 
NjB(z)-«e, 8(2)5ie 风险 之 差 为 ” 
E, X-u -EX 
= E,(r (X'A? X) (X'A?X)?[2(p-2) -r(X'4?X)] 
+4r (X4X)) 20. Qu n € RP), — (4.12) 
证 为 方便 起 见 ,我 们 记 了 一 了 /4 及 n: 
E,(| X -n—-|X ir PYAR B 
- —E,(r* YY -2E,[(X — 5) A? X r(Y)Y 3], 
| 2 | (4.18) 
Xt h(a) =r (y) yA te p (2 A792) (g A72) 14739, 34 
2,497 * 





1 - 
——G-u)A^!(z—2u) 
2 (vw) 0 dæ 
Tk 














hA 
JA] 
— py r (a) 4-3e' A? ((z A92) ^r (y) -r(y)y 7) 
=y tr (y) (p—2) +2r' (y). (4.14) 


根据 引 理 4.1, E (X-A hX) -Bth A (D), (4140 t5 


果 代 入 此 式 ， 然 后 再 代入 (4.183 式 ， 就 得 (4.12) 等 式 ， 由 于 
Ox r(i) «2(p—2), r'(£) 20, t€ (0, oo), 故 (4.12) 的 不 等 号 显 
然 成 立 . 而 在 第 七 草 $3 中 己 证 明了 c E u Kj minimax 估计 .由 
(4.12) 式 即 知 ò (2) 4, u ff] minimax 估计 当 了 (不 恒 等 于 堆 
和 2(p—2) Bj, 显然 (4.12) 严 格 不 等 号 成 立 。 因此 OCXOXX. 

下 面 将 在 p 之 5 时 ， 给 出 伙 的 Bayes 容许 minimax fat. 在 
p—3, 4 WA u RAE minimax 估计 . | 

我 们 记 da, ct a, JJ A 的 特征 根 ， b, (和 ) a. (a, 3) (i=, 
2, p), a= min d, c<2, a>0, 选用 如 下 先 验 测度 ， 它 具 有 关 


于 oben 测度 的 密度 
TORR O 
xexp|-- 亏 4-a(T_X4- i Wt. 
EM n (4.15) 
关于 名。( 四 的 Bayes 估计 或 GBDE X 
B2) m |. ngu s (p) 67 emn dy 
p 
经 过 配方 正 态 积分 计算 , 可 得 
| AA) 
< E (p —2) A7 -要 ja 
- [n exp| - (7 Q—47)2) 04? 147)? 


TP 





475 (一 (一 4 四 一 Sw A-hadp | 
=- Qa) ^ (TE Gs — A) taper Lact), (4.17) 
|p exp [- pata ham u eX] de 

- (ar) "(Ta — Aya Pe Ama [a —— ^ (4.18) 
4 (4.17). (4.18) J& A (4.16) Sf H, Br)" $t Bayés fik 

dao (2) = 上 -| MISCA b)-tg 24 y 


x(| "MP Oe p) 4g ^e tis à) 471 la, (4.19) 


n) USB --1, t) (E, t) 
一 2 十 2 一 2( off (a 9) em 


7 a /2-Fi m pu (4 s 
tofia ;/ (a+b) d e^ ya. t), (4,29) | 
I2, - ebenda (4.21) 
Mb —0, c 达 1 时 ， g wo e 
| 。 gio) du = (PRAE c)n «co, "T 


因此 ôo, cC) 是 Bayes 估计 ， 又 因 To, e (4) 70, 0 一 ro KO «pr2— 
20, AR p--2—2e«2 (p 2) (BI c>3-p/2, pz 5) A38 4:2 
平方 损失 下 Bayes 信 计 的 唯一 性 , 0o (n) 是 Bayes 容许 minimax 
tiit. Wü dEb-—0, 8—p/2«e«2.(p—8, 4) Bj ôo (e) 是 广义 
Bayes 估计 ,根据 定理 4.2, C AU Tc. 交 E 
W. T— 
E To, o (0) =E ry o (4) 9-2 07g e (0) 
—2741,,2--p/2, DI53(p/2, t), (4.22) 


Ada * 


Ane mae nr MÀ MM — MÀ r 








将 此 式 代入 (4.1 人 ,并 记 了 一 时 4 X, Hor 
D, (5, o) ^ E IX pi^— | i Os, o CX) -up 
= E (rus(g)y pres)? 
Es —2yI, ,(2--p/2, y) Iz1(p/2, Y}. (4.23) 
再 利用 《4.18) 式 及 积分 次 序 交 换 , 就 可 得 到 


及 (Does [,, D, 20s (di 


=J] ap CIs oi +p/2, Y) (2p ors (9)).— 

-2Yl, (ra? Y)lda 
-?^r(/2)0 a | [Zs (12-9/2, j (2D 十 ra,e(2) 

— 221... (24- 9/2, 2)]z/?- tdz: >; | 
— 92 (5/2) I a? | s +p/2, zm. (G)de, — (4.94) 
上 十 式 第 三 个 等 式 是 先 作 变换 A].-£, HUE 化 为 极 坐 标 计 算 积 
| Abit, Sc 的 等 式 是 利用 积分 交换 及 恒等式 
| ze da pos 
miis à 

由 (4.20) 知 Oc ru s (x2. i (1+p/2, OE 

降 函 数 , 利用 单调 及 控制 收敛 定理 ,有 . 


lim E, «D, (èn, o) ) 一 - E. (OD, (3o, D) <o, | (4. 2 
因为 by0， i qus) coo, Smala) Jf Bayes 估计 ,也 是 


OGBDF, 由 定理 1.4 及 (4.25), 4 (8o, 3,0) = Eso CD, o, 0) — 
DG; 0)20 QA b (0), H do) 是 容许 估计 . z 
— e BILE, 便 得 如 下 定理 : E 
X843 XS X-—N(u, A), ERRA; A0 BA, 则 


Og, 0 一 (I -f Ap/9ti-0g—Az' A '2/2 ax |^ 入 /2 一 26 一 2727 Ax d) A7 \v 
Q 0 
s i | (4.26) 





在 平方 损失 下 ， 当 S-p/2«oci B, È Enk Bayes 容许 
minimax 信 计 ， 而 在 3 一 p/2<c 过 2 时 ， 它 是 久 的 容许 minimax 
估计 . LN 

现在 来 讨论 一 下 ， 平 方 损失 与 一 般 二 次 型 损失 下 对 容许 估计 
BER X XP, 0cO 估计 参数 0 的 损失 为 (4 和 9)'Bld 一 9) 
(B20), 车 dlw) 是 9 在 上 述 损 失 的 容许 估计 , 为 了 强调 与 BB 的 关 


Kod) A0, m 
定理 4.4 若 Bo>0, ta) > 0, 则 对 任意 网 B20， 有 
io) ~ 0, 


证 不 失 一 般 性 , 令 Bo I, BE. ENKI B>0 TT 
0), (2) AS 0 RRI, MWEE (e), A 
| EQ0,—0) B(44—0) «E(4—0) B$—0y | (4.2) 
对 一 切 0E@ v, HxD2:280 严格 不 等 号 成 立 ， 以 入 记 召 的 最 
大 特征 根 , 显然 和 >0(. B0), ii F-B/M BA OSEI, W 
此 F*«I, Eii tæ) —t(2) +F ((2) —1(2)), WU 
E(i—0) (—8) 
~ E(t—6)'(£—8) 4 E(t4 —0) F*(t,—t) 
^ +E(t— 8) F(f—1) HEt) A — 8) 
«E (1—9)' (£—0) 十 E(5—) Fat) 
E (£—0) F (& +E Fo) 
 -E((-0) (— 8) +E (t0) F(5—0) i 
— E(8—0)' F (£—6) | 


« E (t—0)' (£—0) Q4 OEO). H i a. 28) 
masc rom 某 些 0 PARAL, 故 a DST. 相 
了 矛盾， 因此 定理 得 证 . 


由 此 定理 保证 了 定理 4.3. 对 二 次 型 损失 也 成 立 . 因此 以 后 

在 二 次 型 损失 函数 中 ， 对 于 容许 性 问题 ， 只 考虑 平方 损失 就 够 
da | | 

e $89 * 





、 线 性 回归 模型 


下 面 把 定理 4.2 作 一 点 推广 ， 人 
从 而 改进 最 小 二 乘 估计 . 
引 理 .2 ET) 为 Q, co) ERREAK, wJ 
非 负 随机 变量 , 则 - 
ET (w) (Ew —w)z90, 
XE 记忆 的 分 布 函 数 为 P(w), 则 


ET (w) (Ew—w) = (f JT (w) (Bw — w)dP Qu) 


>T (Bu) [^ Giw— w)dP(w) ~0. 


ER 4.4. UE XN (u, A), 4>0 已 知 , pn € P, o0 
RA, MR EAA [uale X Or(t) «2(p—2)/(n4-2), 
r (0) 20, 3$ tE (0, œ), S? Ej X fbr, H.S2/o? 22 分布, 则 

A (s, S1) = [I —r(z AEN (z Az) SAt]. (4.29) 
JE u fj minimax 估计 ?4 r0) 不 恒 为 0 和 2(p 一 2)/ (n--2) 时 ， 
Hj Rr, SOX, KET u kikit X. 
证 HpWeth E S) 皆 是 刻度 变换 下 的 EET TS 故 
o E, aile- Bul —]ÀR(, S- rl} 
(OEAIX -al ACE, S- ula. 
此 处 wp/o， 故 不 妨 设 ol。 由 于 以 与 对 独立 及 恒等式 
(4.11) (请 注意 ， 此 时 每 个 r(.) 前 乘 上 S 而 ”(.) 则 不 乘 82) 以 
及 六 分 布 恒等式 Eh) 一 2n 刀 (h(x?42) / 1342). (此 处 以 表示 自由 
Hed x 变量 ), 便 有 
Ej; Xp’ JEX, S2) nl 
—-Edr(X/A?XS7(X'A2X)38*[2(p—2) 
—r(X'A3 X8;587] -Av(X'A32X8;,?)) 
= P, {2nr X AT XSF) (X'A7 X) 1((p—2) 
—r(X' A?X85,22)8:,2)] HEr (XA XH-’)} 


o RER 





zE,(2nr(X'A- XS) (K'A X) -+(2( (2 一 32) 
一 人 县 A7X8,2,) (n-2)) --A4E (Qr (XA? XS, y. 

20 (pueb). | .. (4.80) 
上 式 第 一 个 不 等 号 是 利用 引 理 4. 2, 其 中 Srr2~xiro 分 布 与 时 
独立 。 (4.30) 最 后 的 不 等 号 是 根据 假设 ， 而 且 在 r(A) d (0, œ) E 
Thun 20D, musa gy, HAX, SX, 
在 第 七 章 84 中 已 证 明 X Æ minimax fib, Bj HE ACX, S2) 也 
是 . 

A Y.—X.8-o-86, En~ N (0, pi. BER, o0 ERA a 
>p), K X,X-0, 这 是 熟知 的 回归 模型 ， B SN b= 
(XX,  XiY,—-N (8, P(X X) D, EJRZCOEJI BIS? — Y^ 
~ Xa (XiX) XY n, " ~ 从 -分布 和 4, 即 可 推 
得 如 下 定理 : 

定理 4.5 在 上 述 回归 模型 中 ， SrA T ee 
2)/ (mn 一 p 十 2), r'(£) 20, 和 且 不 恒 为 零 和 2Cp 一 2)/ (n—p4-2), W 

Ê= {1 — r (BL OCX)*8,87 (Bi (X X n) r) -182 X X; 
在 L(B, d)-o^?|8—d|* F, É«É, 且 语 是 6 的 minimax £4 
5 的 最 优 同 变 估计 S?/ (mn 一 p 十 罗 也 是 非 容许 的 ，- 
| 61- min] (n m p+2) S8, > yi (n c. 
就 一 致 优 于 它 ， 

下 面 我 们 应 指出 ， 如 果 定 理 4.4 LE S, HERRER 
复 抽 样 假设 , 那么 情况 完全 两 样 . | 

定理 和 .6 E p Bl NLIS RE X ~N (u, 2), A0 E Al; 
HER, o0 RA, w X 1EXEJE BUE FJ u 的 容许 估计. | 

证 若 人 存在 一 估计 5 则 m 

Eao |ò (X) 0] «E, o| X — 8j 1, Ao? 
当 6€ B, 070. MEEDE- Oa, co), 使 得 上 式 严格 下 等 号 


"42p， 











Hon o4 B= {¢. 8 (2) 4c], 显然 B By Lebesgue 测度 LC 70, 
因此 存在 po 0, 使 得 
L(s: |8(2) ~e >p)  L(B4)70, | B,CB, 


t M Æ B, HEA Lebesgue A. DE 


Ex, (18X) — X |? | 
pz? (det A) a m ids 


此 处 p4) = Le 因此 存在 5,0, >0, 使 得 
| pie- My) A(s- M)/e)ymB, | 





当 lz— M |= max |a,— Mi] <ò, 
根据 Lebesgue 点 的 定义 、 则 有 


lim inf Ey, (18(30 — X} > 


| >limi inf p516, (det A) v | In (oo-zdz 
lz 一 Mi<oso | 
(00 wPRGRde4)i»0, 0. 0 (48) 
另 一 方面 | 
Ex, OQ -XP $ 
«2E, e ([(X) -M| +2Eu, |X- M|’? 
<4 A0 (CH o0). 
a 18) 式 发 生 了 矛盾 . KERETEN 定理 得 证 ， 


四 、 多 维 正 态 分 布 均值 的 线性 容许 估计 类 | 


EXN, A, A70 BÀl; n € RP RHA, 现在 问 哪些 线性 
估计 C, X, C4 4X +d 是 凡 在 平方 损失 [n — d|? 下 是 容许 的 ? 哪 
些 不 是 容许 的 ?下 面 的 引 理 和 定理 在 不 加 说 明 的 情况 下 ,上述 假 设 
ERA, E 
^o WHR4S3 若 卫 为 正 交 阵 ，4= IT， 则 
«233 0 





À. I d. 了 
OKA u POPX ^ p. 


证 BD PXN(PS, 19, 所 以 
OX OD i 
XB*IP&.-POXpP?-lu—-OXp, Br 
OPX XJ Pu e POPX A2 P'Pu- p. 
上 述 两 个 充 要 条 件 便 证 得 引 理 . 
定理 4.7(cohen [11]) de X—N(u, I), WOX AS n, 
O 对 称 , 其 特征 根 在 [0, 1] E, 而 且 等 于 1 的 特征 根 最 多 为 2 个. 
证 首先 证 明 若 O 是 非 对 称 的 ， 则 OZ 为 风 的 非 容许 估计 . 
^ | 
C-I-[(0-1y(0-1))5, (482 
WA OXOX, 我 们 注意 到 
(O*~1,) (O' — 1,) = (O - 1) (C— I9), 
E,|OX —u|* —irO'O ctu (0—1,'(0—-Ipnp,- 
E,|O* X — u|? = iz (O')'O* + (C - Iy (C - I) p. 
—ir(0*)O" +p (0 — 1, (0-1) p, 
(0*)'C* -21,-0 —0' -2((0 — 1) (0 1)? -- CO, 
故 tr(0)'0* «t0'0 e tr (1-0) cir E, 0) (1, 0)]?, 
4 B-1,-0, 则 由 矩阵 论 中 的 正 交 特 征 分 解 定理 知 , 存在 正 
交 阵 P、Q@, 使 


4 0 " 
B-P 1 oj A -—diag(24, Àa, "5 Ag) (q <p), 


w P—QP' 仍 为 正 交 阵 ， 其 对 角 线 上 的 元 素 记 为 pn, B. |pul<1 
(一 十， 2, b p), 不 难 计算 得 到 


A Í — q CNN 
trB = 4| 0 0 jez =X NiDus 之 | 和 | —ir(B'B)?. 
iml ^ 4€ : 


上 式 等 号 成 立 的 充 要 条 件 是 puill, 2, --, 0. 由 于 QP 为 
. 455. 


ha e ——————-—— MÀ "HR 





SAEPE, HR P- .) 此 时 


B-Pf4 0 p(4 No 
-Pia je-eR 1 E 


Ns A 0 (A 0 
i p du ))9- e o 
由 此 知道 B 是 对 称 阵 ， 这 与 0 为 非 对 称 相 了 矛盾 .。 故 
tr Bir (E B), 

从 而 tr (0")’0*<trO'O, < 加 | QC— a) |. 故 
OX 是 非 容 许 的 . 

所 以 下 面 总 设 O 为 对 称 阵 . «HEEdERE P, 使 PCP 一 对 
角 阵 .. 由 引 理 4.3 知 ， 讨 论 CX 的 容许 性 , 不妨 仅 考虑 C 为 对 角 
阵 的 情况 , 其 中 对 角 线 上 的 元 素 记 为 6 0s, …, cs， 容易 算得 


Ru, OX) - E|u-OX |*- 3(e--ui(1—6)*). (4.83) 


必要 人 性: 由 (4.83) 式 可 见 ， 若 有 ce<0， 则 把 ci 换 成 零 ; 若 有 
>i, 则 把 6; 换 为 I， 这样 得 到 的 ww 的 估计 OX 显然 一 致 优 于 原 
来 的 OX, OX 就 是 非 容许 估计， 因此 ， 欲 使 CX 为 容许 ， 必 有 
Oxe;x1(4-—1, 2, =, p)。 男 一 方面 , 车 0 cc, 69 中 有 三 个 元 素 
为 1， 不妨 设 ct=ca 一 ca 一、 造 一 个 估计 


ea Za, 3), Ca, cn, o2) . (4.84) 





Bi (4.11) 3 Ar 
El&—pul*-3—E(Xi—-Xi-X$$^ 


zx 之 (us; (1— o)” toi) <E CX — ul. 


故 OX 为 非 容许 因此 ，ct，c，…，c 中 只 能 有 两 个 为 1, 方 能 使 
OX 为 及 的 容许 合计 ， 必 要 性 得 证 . | 

充分 性 设 C=diag (ej =e, co)， 若 ca=0, E X. u 的 先 
验 分 dH J P(u;-0)-—1; $;00, M x X. pa 的 先 验 Ar d 为 
438。 
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N (o, 1 且 诸 独立， 则 容易 得 出 以 的 Bayes 估计 为 


E(u|z)=OX. ER R E E E 因此 知 CX 
是 凡 的 容许 估计 . 

若 诸 6 中 仅 有 一 到 两 个 a=, 不 妨 设 Ct 一 或 Ci 一 0 一 二; 现 
在 考虑 后 一 种 情形 ， 此 时 车 Md E Wiete H 
e(z)-«OX, id : 


(1) | 
Ha (Mw Y 9i 
Ha j Va 


7- (0) -me) ?0-( n 
ON = diag (cs, o), Ow — diag (cs, et, 大 
如 同 前 面 ， 取 wu 的 先 验 分 布 为 : PU4=0)=1， 当 a0, mc 
N(0, 45—), 2 «70, 且 诸 p 独立 , AER PUP) 一 1 
uP 为 Fe 中 任意 确定 的 点 . DU u Ry Bayes 估计 为 We d P 或 uu? 
的 Bayes fiit CPXP, Jl Bayes 风险 为 次， 因此 ,根据 
Bayes 估计 的 定义 ,估计 E E Je eene 


EE, lg 9 (X) — n> 216. ^ — (4.85) 


另 一 方面 , 由 于 o() XOX, A 
EE,|eQO-—u -— 
= EE, |p? (X) - y? |?-- EE,| p (X) — poj 


« EE(OX- 有 e)*) 


一 2 十 3e. — (4.806) 
从 上 式 及 (4.35) 式 知 | | mE 
EE? (X) -pP P<2 — (4.37) 


注意 此 时 A 的 绝对 分 布 密度 gO, n) 8 
9 487 * 





Qn) exp[- 3 at-il s [ em T oxp -a-a 


e (2a) exp[- 31a - ni?) fa), 


此 处 jz) 与 4 无 关 ， 再 由 于 uE 的 任意 性 ， 可 知 zb 为 关于 
UP 的 完全 充分 统计 量 ， 加 上 损失 是 平方 损失 . Wh o” 组 成 的 
估计 构成 完全 类 ， 由 于 z@ 是 pg 的 容许 估计 22， 故 (4.87) 式 对 
所 有 的 uP E 居 成 立 , 当 且 仅 当 等 号 成 立 . 因而 pO (2) — 27? a.s, 
再 由 (4.35) 与 (4.86) 式 知 
EE, |o (X) 一 po 一 Da EE, [09 X '9— uo]. 

由 于 平方 损失 Bayes 估计 的 唯一 性 , 就 有 p” (2) =a a.s, A 
WEJo(X)-n|-EJOX-L[. XdbuNPT OX È uy 
. 估计 ， 完 分 性 得 证 ， 整 个 定理 证 完 . T 

”现在 我 们 把 这 定理 作 进一步 推广 : | 

-ERAS 设 r.VX~N(p,4),4>0 已 知 , 则 GY+6 A 
n RERE: 1) CA 对 称 ; 训 0 的 所 有 特征 根 在 [0 1] E, H 
等 于 1 的 特征 根 至 多 两 个 ; ii) d TR O- 1, 的 行 向 E 所 kn 
的 线性 子 空 间 叶 (0 一 J)， 


, X 先 证 4=0 的 情况 : $y-A"7^?X, n=A hp， 则 BY 
=), VARY) 一 也， 因为 
E, (OX —nl?|n, 4) - Eo a3 — 全 L) 
—-E(A *0A3Y —myA NOSSA LEA 
OX MEI ne» A to y A oe A OAM 
最 后 这 个 “ey” 是 根据 定理 4.4， 再 根据 定理 4.7, OX m p 的 
充 要 条 件 是 4 gat 为 对 称 , 特征 根 在 [0, 1] E, 等 于 1 的 特征 根 


(09 SARF ST AUS T2 BOIS], 
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ZLAR. AOA? 对 称 等 价 于 CA 对 称 ,而 4 POA? 的 特征 
根 与 C 的 特征 根 相等 ， 此 即 i、 世 的 条 件 ， 在 这 种 情况 ， 定 理 得 
证 . 
O ME RA 证 ) 对 一 般 OZ + 六 了 /是 必要 的 . Sd-(0— 
I)di+ (O11ds, 那么 
E(JOX -d—pu|*ln, A) | 
= br C4O t- di (C — I y (O — 1)d, 
2d, (0 — I) (0 — I) u-- u (0 — 1) (C — IT) 
4- [(O — 1,):d;] (0 — L,)*d, | 
一 (OX+ (0 — I5)di — ul -LI Lda] * (C — I,)!ds, 
# (0C—1,1d.20, t«RERCX--(O—I,)d,—OC X +d, ik iii) 的 条 
件 是 必要 的 . | 
4Y-Z-d, WY~N(u+d, A), B. 
CX - (C— 15d, X^ pe OY. AX pd; € 1), ii) R. 
至 此 定理 得 证 . | 
根据 定理 4.4 可 知 , 定理 4.8、4.7 NETUS u-d H 
3 (u—d)'B(s-d), B0, 那么 结论 仍然 成 立 . E X-N(, 


c*4), A70 BA, pm o? 未知， 如 补充 y oat, 那么 定理 4.7、 
4.8 仍然 成 立 ， 充 分 性 利用 c= 工 时 是 容许 的 ， 从 而 不 次 于 它 的 
估计 必 与 它 几乎 相等 ， 故 在 任意 o 时 ， 也 是 容许 的 。 必 要 性 证 明 
与 9~1 时 相间 .只 注意 此 时 要 用 到 Sut 及 定理 4.4. 


最 后 ， 我 们 还 要 指出 一 点 ; 在 定理 4.3 定理 4 4 必定 理 4.6 
中 如 果 将 损失 函数 改 为 s d) Bluda), (一 d)'B(u —d)/c?, 
B>0 R Æ Æ ff H H X'A- diclo IB3A34X. A?! 4& A 
BA, 结论 仍然 成 立 . 

定理 4. 6 还 可 推广 到 位 置 刻度 参数 央 共 有 密度 函数 


of (5E), 9E Rr 上. 证 法 基本 相同 . 
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$5 七 是 位 置 参 数 容许 估计 的 正 态 特性 


若 随机 变量 OX 服从 非 退 化 分 布 了 (zw 一 0) (— 996-00), t, 
£3, 020 JE X 的 简单 抽样 ， 众所周知 ， 0 与 EX 仅仅 相差 一 个 
WO, 6— EQ(X)- EQ(X). Rki, 可 以 假设 E(X) =0. 
此 时 用 样本 均值 X hiit 0=EX 是 合理 的 ， 且 已 证 明 , 在 平方 损 
RF, X 就 是 正 态 均值 9 的 容许 估计 . 人 们 要 问 ， 对 其 它 转移 分 
布 族 , X 是 否 为 容许 估计 昵 ? Kagan, Linnik 和 了 Raoco 研究 了 这 
个 问题 . 回答 是 : 仅 在 正 态 分 布下 才 是 对 的 .本 节 将 介绍 这 方面 
的 工作 . | | v 

因为 X 是 平方 损失 下 对 平移 群 的 同 变 估计 ， 如 果 它 是 容许 
的 , 必然 是 最 优 同 变 估 计 , 由 第 七 章 中 所 述 可 知 , 最 优 同 变 估计 可 
表 为 下 mE 

X — Eo(& | za — 24, e, O8 — 04). 
而 且 它 是 唯一 的 . 这 就 要 求 E(X |rt, 5, 9.2.) 0. 解 
决 此 问题 的 中 心 就 是 找 符 合 此 要 求 的 分 布 . 
引 理 5.1 dE Y J& K HEBEL] E, 其 分 布 为 也 X RIE 
H, EX 存在 有 限 . 则 E(X|Y)-EXa,sPe 
^|OEXeU-EXEeS (tC RE), (5.1) 
证 注意 对 1€ Bx | EG 
EXeU'v—EE(Xe"|Y)— E(X |Y)etv). 
必要 性 : 由 于 设 E(X |Y) - EX a. s [P], 所 以 
EX" =EX Ee" (r R^), 
充分 性 : 先 设 EX 90, 故 
gaaf ZAID apr) 
是 广义 测度 . (5.1) A8 | 
[evap- | e (Ear. X y- [e iQ 
由 傅 里 时 变换 的 唯一 性 可 知 , 对 任何 AC R* 上 Borel 集 
。449， 








| RD -jor 
”从 而 知 E(X|Y)—EX a.s P, | 
#EX=0, Wb 5s0 m5.) 
H(X t-b)et* "bbe = E(X +b) Bet. y 
再 利用 已 得 的 结论 ， 
E(X -b]Y) 2 E(X|Y):-b— EX) 
—EX--b-ba.sP. | 
从 而 仍 得 E(X|Y) —02. s P. | 
引 理 5.2. 若 随 机 变量 X P(n— 0), E,X* oo, EX —0, 
V1, Way ce, DA (N>) JEUX 的 简单 抽样 如 果 
E(X |29 om: AETA =0, (5.2) 
AI FHER NO0, o?) (010 Ap). M 
WE 记 也 (wz) 的 特征 函数 (0. ApH, RESIM D.L, 
0- EX oxp B b: 一 3 sx) | 
ps XE [x oxp: 3 $ XX |} /» 
-- H3 {heej erel £4) 
+ lkecoe(- 2t ))- | 
RA pE t, 故 存在 6 使 当 a 2, s òm, 
lp 人 [> 元 ip (dnei Doo 
从 而 将 上 式 化 为 | 
2j eoo? +o- zie (-34)) - 


4 由 (一 人 一 (0 (p(D)7*, tmm ts, 则 上 式 化 作 ， 
p-ta) 十 (n — 2) (— ta) Hio (na 一 ajta) =0, 


[ta] <5, |ts] <ð. | (5.3) 
将 上 式 左 边 乘 以 z 一 妈 ， 再 将 它 从 0 到 o 积分 , |z]«9, lta] «9 
e 441. 
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时 , 则 有 
o-|. 人 EHE 2«C- 后 ji 


-| 一 2 (s+ (n—2)ts —u)v (u)du E 


(n—2)ts 
+y (s) + WO—2) ws(—t) /92. 
由 题 设 EVX?-—oo, A p OFE, m v) np 98, BERAN t 
分 , 再 对 o 微分 , 则 得 
— (n— 2) ((n —2)t9) + (&— 2) (s+ (n — d 
— (n—2)o' ( —15).--0;. | 
令 妇 一 0， 则 上 式 成 为 由 (2) =p (0) -- (0o, 而 
pi =g ()(o(9)7. 
AmE logot) 为 二 次 多 项 式 . LA g (0) SS vp (0) 一 
1, iX 
log p(t) =at’, o (t) ee 
XB o()-o(-1t) R le(Ó | «1, 所 以 仅 取 负 实 x, Was 


-F HeQ)-6 "Y Iti «5. 由 此 POMEL ERRENA 


数 ， 因此， 特征 函数 p(t) 由 它 在 .| 引 <8 内 叭 一 确定 ， 即 e()— 
exp(—0%?/2), |t] «co, 这 就 说 明 X-^N(0, e. 从 而 证 得 了 
引 理 . 

定理 .1 EXP 0), FAEK, BX =0, EoX^ 
«eo, t, -, v, >>3) 是 瑟 的 简单 抽样 .在 平方 损失 下 ， 样 
本 均值 肝 为 6 的 容许 合计 的 充 要 条 件 是 FA) 为 正 态 分布 
人 (0，c2). 

证 “充分 性 已 在 本 章 8 3 中 证 明了 . 现 证 必要 性 ， HIRO 
的 容许 估计 ， 必 是 9 的 最 优 同 变 信 计 ， 从 而 (5.2) 成 立 , 由 引 理 5.3 
4 X ^—N(0, o. 


注 1 n>8 是 必要 的 ， 在 n~2 时 ， te i [0—1, o» 
十] 上 均 勾 分布 0 的 容许 估计 . 
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注 2 ou Xo Hb up d, X F(s—0), EQX —0, EQ| X |? 
«oo, EMREN. EATER k> BP, WERA X 是 
0 DER DM SF H k ÉES N(O, A), 

+3 4 X-F(o7(2—-0), OCR! 070, WRAL.. 在 扫 
样 大 小 mw 关 6 时 , 结论 仍 成 立 (参见 A. M. Kagan and Zinger, A. 
A., Sankhya Ser. A, 35 (1973). 447 ~ 454). 


$ 6 单个 位 置 参数 最 优 同 变 估计 
容许 性 的 一 般 理论 


， ”在 这 一 节 ， 我 们 把 第 三 节 讨论 的 问题 推广 到 一 般 损失 函数 的 
情况 ， 讨论 转移 分 布 族 Ps 一 P(z 一 9 位 置 参 数 9E Ri 在 损失 机 
数 工 (9, d) 一 W (0—d) 之 下 最 优 同 变 估 计 的 容许 性 ， 先 证 明 在 某 
些 条 件 下 ， 最 优 同 变 估计 的 唯一 性 是 保证 容许 性 的 必要 条 件 
(Farrel 定理 ), 然后 着 重 介 绍 Brown[7, D RWE . 

对 于 转移 分 布 族 , WME g 3 中 处 理 的 那样 , 若 g 一 (Ci za，…， 
S), W) Y = (sa-m e, n-m) 是 转移 群 下 的 最 大 不 变量 , 了 
的 分 布 记 为 v(y)， 它 与 9 元 关 . 4Xi|Y-P(e—-0|y), 0E, 
本 节 绽 假设 此 分 布 对 Lebesgue 测度 具有 密度 函数 2(z 一 引力 . 这 
FERT (Xa, 了 ) 替 换 于 来 描述 这 个 分 布 族 . 又 如 在 $8 中 指出 的 
那样 ,在 损失 函数 采用 w(6 一 Q) 的 情况 下 , 转移 群 使 问题 不 变 , E 
的 同 变 估计 此 可 表 为 z--p (y) 的 形式 .， 同 变 估计 的 风险 函数 (车 
存在 有 限 ) 一 年 是 常数 ， 用 2: 记 所 有 有 限 风 险 的 非 随机 化 同 AE 
估计 类 . 

定理 6.1(Farrelum) 3 w(t) Jp RETE BRL CRI >a 或 
fit O 时 , w) 2w(5)). EXE 270, 有 
| P(X 1E (t:u (t) -w(t-Fa) 20) |y) 7-0, a. s.v, — (6.1) 
如 果 存 在 两 个 不 同 的 最 优 同 变 估 计 mo (y) G=, 2) (» 19i (Y) 
"9s (y)1 二 0)， 则 所 有 的 同 变 佑 计 是 非 容 许 的 . B 

证 d. m(9) =min {p1 (Y); Pay) h, T 





M (y) =max{gpı (y), gay)}, 
dnt, y) 2-2--m(g), Sule, y) -o4- M(g), 
A,={y: 910) 7 ga(g)3, | A-— iy: ei) <pa(Yy)}. 
则 sw 的 风险 函数 为 (注意 2 十 gr(9) 的 最 优 同 变性 ) 


RCO, òn) = Si +|,) Jo w(z-Fm (y) )p(z|g)de 
=|, | wet ps)) pely) de 
un d» w(o4-e (9) (o a 


= [a m w(z--p (y) pc] y)de. (6. 2) 


说 明 6% 也 是 9 的 最 优 同 变 估计 ， 同 理 ，5x 也 是 9 的 最 全 变 估 
W. 故 不 妨 假定 py) py) Q4 y € RF), 

现 作 同 变 佑 计 0. 2407 j, drm ðm 当 2<7 时 ,0 E 
à, 的 条 件 风险 为 


RO, èl) - | " wept 
| -人 Gps) - yp (e — 619) dz | 
+| wotrply) - Op (o 8| )do | 
-| 一 w(a-- gi(g))p(o| )de 
+, wet ei(9))p(o|g)ds 
-int| wee (9) e|y)da. 


tí atm gpel)ds —— (69) 


WB Ale, y) —-w(a4-93(9)) —w(e-oi(y)). 
由 于 p(y) «ga (y) GU y ER) R w(t) HAERA Al, v) 在 
固定 4 时 至 多 只 有 一 次 由 负 到 正 的 变 号 ， 若 存在 ， 记 此 变 号 点 为 


ap 





(1) \ 即 对 任意 小 的 s>0, 在 (一 co, £(g) -8) 上 存在 两 点 ci< 
ECY) <ta (E Ales, y) (2s, 9) 0); ERRE, MWG EU) 一 十 ca， 
由 于 


[46 y)p(r|y)dsz-0, a.s.v, (6.4) 
故 不 难看 出 , 对 任意 实数 到 有 
| 4 plolW ds<0, a. s.v, (6.5) 


根据 假设 (6.1) 式 ,显然 有 
(T Ala, Wololy) do<0, ByE (y. py) p), a S. v. 
| 2 .— (8.6) 
根据 (6.4), JEO) | «eo, Xt m EQ, 由 (6.8) 及 (6.5) 式 知 
RO, 8) = dvint|" ww+p)plely) dr 
~ | l "E | 
e[of R Als, 9)p(s, yida, (6. 7) 
Wi Bii (6.6) st (6. tU HD KE-0 OS fa, WH, 
优 于 一 切 同 变 估计 .定理 得 证 . 
下 面 就 固定 样本 的 情况 下 证 明 Brown 定理 (原文 包括 六 贯 抽 
样 情况 , 其 思路 及 证 明 方法 与 圈定 样本 情况 的 思路、 方法 相似 )， 
定理 6.2(Brown'^9) 设 3o 为 最 优 同 变 估计 ， 
RoS RG, 80) < — 
WB 24 x€2,G-1, 2, …) 使 得 RO, $8,)->Ro( 当 i), YI 
S(s, y), y) —*--go(y) (4 ioo), a. sewi 
i fA) ssup|mw| Fo+mGD) — | 
—w(a--p(y))1p(oly)de (477), |. (6.8) 
[fa «eo. 


n) faf” olw Cetpoly))poly) «eo, 


则 同 变 估计 =z 十 po( 幼 是 容许 的 ， 
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证 如 果 存 在 另外 估计 5 使 RO, 5) «Re, 记 v, y 
6(%, y) 一 2， 则 对 任意 的 ?>0, 有 


0<| ,CR 一 BC, 8)1d8 
x f. déja | {w (w+ poly) — 8) 
—w(s-- (s, y) -8)yp(a - 0|y)de 
-farf anf ere) werpe, oleae 


1/2 i/a 4 +e 3/2 m 
bd - je, dof AU E, dap der tfa wz de 
l ar a de- JB "d d^ uc, 2, -— 
< Rit Rut Rats -+ By.. | o (6.9) 
此 处 wle, m, y) we -go(9)) — wo, 9). 
,由 于 * 十 go( 幼 的 最 优 同 变性 质 及 :十 由 zw, YERE e Ib dod 
同 变 的 。 因 此 MEE 
BR- 全 del fd»|" uc, Œ, 9) p(z|q)dz) <0. (6.10) 
X RB ur BU mE P d 
e lim süp (Riut Rut Riy + Ry) <0, | (6.11) 
E —%<liminf Fs. E (6. 12) 
Vds (6.9), (6-1): 8T h lim inf R0, Fih (6-10) & (6.12) 


可 导出 及 一 9 从 而 得 出 ( 记 5. y) 9 24- v (s, .9)) 
R(8, o) 一 R(6, Òs (z, y) Ja | a. S. L. 
再 根据 假设 让 就 得 到 对 a. s. LL RS o, 
^ ge(g)-—w(s, y), 8.8. v 成 立 ， 再 用 Fubini 定理 ,得 
fav | let pty) — 5e; y) |p(s|y)de 


= [av | [po (s) -p (æ, y) |p(v|y)dz—0, 
从 而 推出 ò= o a. s. Po(w)。 这 就 证 得 了 本 定理 ， 
«4484 





,下 面 分 几 步 来 证 明 (6.11) 5 (6. 12)5&. 
| "dy lim 1 sup (Ry+ Ry) «0, | 


sees lf, d * da 
+ 人 T eas do] pela 
-aa[ tp) pal s 
«4 jd» - " hut (WYP eld C tos), 


最 后 一 步 是 根据 假设 1). 
(2) EB] (6.12) 3 y& sr. 利用 2 十 中 ec， y) EHET 时 是 同 变 
的 事实 以 及 不 等 式 TONES 
jo. w(z, v, y)p(z|y)dz. 
«sup farf [w (e+ poly) — -w+ pII 
=f (A). (6.13% 
加 上 假设 这 与 ii) 就 有 常数 Ci>0 使 得 。 
-fofi adf. mos vw—1, )g(z|q)de 
-faot def" ys de |. dal 7 p: dz l 
+ 人 | d. ju, z—1, Wp) mE 
-faif d .az+| d:| dz | | OIM 
十 | dz| de} w(z, s—l, y)p(z|y) 
«ala. [spur goly)) plely) ds 


+ 人 7)az<O， (与 1 无 关 前 常数 ). 








同 理 可 证 R<, BAA ORAE 及 (6.9) 式 可 知 : 存在 
ca>0 使 Rz — es, 对 任意 10 成立， 从 而 可 以 使 用 Fatou 引 理 ， 
对 确定 的 1>0 及 一 串 uoo. ( 当 ioo) 有 下 式 成 立 : 


lim inf[" dz|av| w(z, v, 9)p(z|g)de - 
io J-X 一 和 
Àx ^ 2 
«lim inf| | dr|ao| w(a, v, y)m(z|y)dz 
$00 一 MK -M 
一 Mk A ^» vie. 
+(| 4 Jia ssp|zz| w2, £, y)plzlyjde] 
-M 


«lim nin| f” deja [^ wlz, c, » spl) sty ON] 


=f" of w(2, c, y)plz |o) dz RU b-»o2),. 


这 就 证 明了 (6.12). 
(3) 对 任意 给 定 的 c>0,， 正 可 测 函数 aly), 定义 
| S (I) — ((2, y): -lL-acao« —l4-a, 
| (s, y) — poly) | 7a(y)l, 


m" dæ d»y—0 (34 l->), | (6.14) 
证 对 任意 给 定 的 6:>0, 记 
TŒ = iv v (y: (o, y) €80))) 7 &i/4a), T-LJTQ.. 


ATO, 的 定义 可 看 到 不 存在 fj ET, Eple y> 
poly) (i—>o0), FÆ HE 1) An. 存在 83770, 41834 oC T 时 ,有 
R(0, 2--po(g)) — R(0, z-- (s, y) 


- ja» | we. z, y)n(z|y)dz« — Ba. 
由 上 式 和 (6.12) 水 即 知 " 


—oo« —o« H | 
-| da [av w(z, v, g)p(z|y)dz« 一 a| de. 
从 而 | dz«.03/ Ba« co, 故 存 在 lo, 当 p Hj, 区 dz«p:1/2, 
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从 而 
一 ?十 6 
-i 
EO 


而 Bi 是 任意 选取 的 , 8x (6.14) RA. 
(4) lim sup Ruo, Him ı SU Fus, 


-i+6G dr. I2 1/2 T» 
mee fore ra fe e 
一 5 一 G 1/3 -81/2 1/2 E 
一 ?一 
P Tm Ko -1/2 de] jug 2 sol), | . (6.15) 


((z, y): -lI—-ace« —1-2-a) 
—((z, y): -l—-a«e« —l4-a, (z, y)eS (D) US(D, 


由 于 (6.12) 式 中 的 了 存在 有 限 及 lim| ， do dy ~0, 故 


t - 


limf | d az| av(z «m, UT (6.16) 
因为 0<Ro<oo 可 知 对 于 任意 的 s>0 存在 8>0 及 jo>0， 使 得 


| tmm plazo]. E (6.17) 
fof vir poly) pzly) de 


|, 8 (rco G))plde e 


HIER Luzin 定理 ,对 任意 的 s>0, 存在 任 浊 的 有 界 闭 于 集 玉 (y) 
及 适当 小 的 a0, 使 得 


[ee ig; A lol <o), 
| w (24-go(y)) — w(2-- ply) +n) | 


( 当 2, eene Ken [3 a], n] <a) 
ES, XE |o (o, y) -e(y)| Sa X Ulo TFA ` 








lte | 
dv d | 77 d 
| lta <el, l payl «a diri —1/3 ws, a y)p(z|y) $ 
«2| | w(2--go(9) )p(z| y)dz dv 
2 


(ito 
+| , dv daf w(2, æ, Y) Pz2| oy) dz 
ipol x b,—L +a «z«—1—6, |qo—w! «et ze/3 





(«8 S. us NEC Te. ‘2af dece, (6.18) 
综合 (6.16)~ (6.18) 及 S(L)- ((e, v), -i-a«z« —l-a, 
Ib (s, y) — goly) | >a} | 


je] ^ i dof ys VO 2, y)plely)dz 


<| SQ) da of” w(2--9o(y) )p(2| y)dz 
e ip 7 az| wz+m (y)) .p(z| y)dz 


dæ dv 


| MEE -— 
| x7 us £, y) plz|y) dz. | (6.19) 
上 式 当 >o M, BIEN TREAT, 由 于 s 的 任意 


性 , 即 知 | 

"D | in um àv "- (z v, y)p(z|y)dz«0, (6.20) 
然后 我 们 再 导出 下 述 不 等 式 : 

fa 2M daf, w(z e, y)p(z| y)dz 


- ja» aclo)azf qus z, jjis 

«[av[ ^. peluda wereGD)aa 

«av[ 5 (a+ lzD)wcat poly)) psy 

«ajav| lzlwCst poly)) ply) ds->0 (5 ao). (6.21) 
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Je daf" w, stauk 
«[" dæ sup fav]. [w 2-- po (9) ) — wd) 1p] y) dz 


—«[raesup farf" wet (0) 2th Ip 
->0 (Hao), (HIH i) (6.22) 
Jav [ oz rmm m, Dole 


t6 


-fo n tot 
c0 <fa” (a+ Io Cos pde 


«D ESI Jalwa poly) dvo (a>00). (6.23) 


将 (6.20) 至 (6.23) 代 入 (6. 15) 式 ， 即 得 
lim ideis Fas, 


对 于 Ron 证 明 是 相同 的 ,综合 (1)、 (的 的 结论 即 得 (6， 1R. 
由 此 全 部 证 明了 定理 . 

为 了 使 得 定理 便于 使 用 ,有 必要 对 定理 的 条 件 进行 一 秋分 析 ， 
以 找到 方便 使 用 的 充分 条 件 ， 下 面 作 一 简单 扼要 的 讨论 ， 

推论 1 F w(t) 是 兢 形 函数 ， 则 假设 成立 的 充 玛 筑 件 是 最 


— 优 同 变 估计 唯一 存在 风险 有 限 函 数 ( 指 a. s. P). 


证 必要 性 是 显然 的 ， 现 证 充分 性 : 设 òo 是 最 优 同 变 估计 ， 
HUS m] AE dis Yr HE yj Dx 2-- ox (y), k=1, 2, eg 使 RO, 9y)— 


RG, à)«co (Hbo), iB RQ|g) o [wet ply) pl 
则 上 式 化 为 | | 
[ERG ly) -Rolde (y)>0 (ho0). 


HF Rly) > 六 (olg) a.s. v, BH Rly) R(8o]y) fk v il) 
HE. 如果 prp a 5 2 不 成 立 ， 则 必 有 





0c»iy lim sup p(y) Apoy) — . 
或 | | 
Oc »iy lim inf p(y) *«9o(9)). (6.24) 
根据 Luzin 定理 对 任意 5, 可 证 | — wCa+a)plely)de E a ME 
ER, 利用 w(t) 为 碗 形 函 数 , 当 a too 时 ,可 在 积分 号 下 取 极 
限 ， 根 据 这 两 点 可 证 明 | 


lim sup R (|y) > wz+ lim sup ex(9)) p21y) >R Gol); 


Hm inf R(5,|y) >|w (e+ lim inf gn(Y)) P21Y) > R(8o| y). 
如 果 (6.24) 成 立 , 则 与 lm EC,|y) RC8ojy) 依 测度 2) 及 假设 
最 优 同 变 估 计 的 唯一 性 相 矛 盾 ， 故 推论 成立 ， 

推论 2 车 推论 1 关于 w(t) 的 假设 成 立 ， 且 最 优 同 变 估计 叭 
一 存在 . H | : ZEN 

faf |z 一 po| sup{w(2%), w(—22)}P («— goly) |Widv<o. 
则 假设 这 与 也) 成 立 . 

证 1D 成 立 是 显然 的 ， 在 此 只 要 证 明 边 成 立 . 因为 z+ 
go(y) 是 最 优 同 变 估计 且 唯 一 , 所 以 对 于 任意 的 gC), 有 
Jav |^ wot (9) — G9 ) pely) de<0 
fa] [wap — (o-9)35 (olg) de 


«-[el [w(z--go) —w(zo)lp(e|y)de, (6.25) 
为 了 讨论 方便 ,不 妨 设 po(y) =0. 我 们 作 
AS 当 p 一 Xi; 
P= ply),  ]lo|«X 
À, 当 9. 
从 碗 形 函 数 易 知 : || B, (2-4 -p)zw(-9), Mi 
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sup [a»| (to) Gr p(lode 
= sup fof [w(z) es dz 
& sup I^, o). | 
根据 (6.2 可 式 及 积分 次 序 交换 , 有 
jer es 


: <f dad sup je] . 人 -oz 
< 办 | 加 | sup [w(22) , w(— 3231 Cp (elg) +p(— z|y)1dz 


«[»fi z|sup[w(22), w(—22)]1p(z|g)dz— co. | 


由 本 假设 即 知 假设 ii) 成 立 . | 

. 由 这 两 个 推论 立即 可 得 到 如 下 两 个 结论 : 

推论 3 车 w() = lilt, 在 > 时 ， 存 在 同 变 估计 5(2)， fi 
得 Bo|5(w) | **—oo; 4 k—1Bj, Bk PC 19) 的 中 位 数 o (y) PEE 
— (a. s. v), 则 最 优 同 变 估计 是 容许 的 minimax fih. 

证 ”因为 | 引 在 8> 工 是 严 凸 的 ， 而 

ò (v) =r + pp (Y) --qos(y) 

也 是 同 变 的 . 这 说 明 最 优 同 变 估计 是 唯一 的 . 


推论 4 OLLEELLE LETEC SEL 


>0, i=1, 2, D RENP, ductor m | -1| ao, 


并 假设 存在 刻度 变换 群 的 同 变 估计 5(2)， 使 得 E19*(2)|log 3 (2) 
«oo, 在 上 = 时 ， 最 优 同 变 信 计 唯一 . 则 最 优 同 变 估计 是 容许 的 
minimax 估计 . | 
iE 41Inz,-, 0—logc, d= ze "H 
y- (y, 7, yt den "pg r 
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损失 函数 化 为 lexp(Z-- 0) - 1] 下 的 估计 9， 变 成 为 位 置 参数 估计 
问题 ， 利 用 推论 1、2 及 定理 6.2 即 得 证 。 … 


67 关于 二 维 位 置 参 数 最 优 同 变 估计 的 容许 性 


对 于 多 个 参数 的 转移 分 布 族 , 参数 的 最 优 同 变 估计 的 容许 性 ， 
并 非 想像 那样 ,是 一 维 的 自然 推广 ， 在 参数 多 于 2 时 , 象 正 态 分 布 
均值 的 最 优 同 变 估计 都 不 是 容许 的 , 其 它 分 布 族 就 更 难 设想 了 .但 
对 于 位 置 参 数 只 有 两 个 时 ， 在 一 定 条 件 下 ， 它 的 最 优 同 变 估 计 是 
容许 的 。 这 一 节 就 来 讨论 这 个 问题 , 介绍 Brown fil Fox'* f T 
WX 是 二 维 随机 向 量 , 了 为 多 维 随机 向 量 , X[YC XT L 
的 概率 密度 p(2—0|y), 0ER, Y —v (y) 0 无关， 损失 西数 采 
HL(0,d)-w(0—4), dk R?sxjpt ERE I= {g JERY, ¥ 
JEZ Bj, "Hi go-c--g, gy=y, 乡 在 参数 空间 与 行动 空间 ( 均 为 
Rss 多 同 构 的 加 法 群 A, 2, aH, 我 们 的 估计 问题 是 不 变 
判决 问题 . 
9 的 一 个 非 随机 化 估计 e, y) SOS ELE 5, 如 果 对 任意 的 
gE, uH 
à(ge, gy) = (ga, | 9- = gòt, y). 
取 g= 一 z， 立 即 得 到 同 变 估计 形式 可 表 为 
. 8(%, y) =6(0, y) +eâs+ply). ' , (17.1) 
假设 1. 存在 基本 唯一 的 最 优 同 变 估计 eate (y) 具有 有 
限 风险 , 即 | BS ROS 
Ro=R(9, 8o) 一 inf R(0, &-- (y) «oo. 


RH, 假设 poly) = 0( 否 则 ， W a 223-9o(y), Noa 
z, y 变量 空间 ， scel) pl), 此 时 oca). E 
假设 2， — 


ee © a) 
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假设 3， 若 存在 估计 8, ix vec, n(, ô) < Ro, 则 
存在 一 串 估 计 9, 具有 
3.1) 38r>3 Qi») a.s. I; 
.8.2) R(0, &)«R, (4 [0| «1D, 
3.8) XT im, [| «31/2 pt, 


fua- v+ 2)p(z|y)de< [uos -2+a)p(2|y)ds (7.3) 
3.4) lim afaf az| wi- 0)p(w -0 ag 


-limfa vf ant af a T 917 2+2)p(z|y)dz=0. 
E4. FENER K (v), 由 (0， co) 一 (0 cin 
J. K (v)dv — 04e, (7 .4) 
对 任意 同 变 信 计 61， 下 面 两 个 不 等 式 成 立 , 
Jöfn oE -ule 1p (olde 


<E (o) {faf twan- PERC} "5 5) 
f jj. [w(2) —w(81)] *p(e|g)da- 


<{ 亿 [ee - -wepe l)a} KO), (7.6) 


定理 了 .1 THER 1e ici, I Sus 9- =a ERVE, 
证 车 存 在 8$ 使 得 
| R(0, 9) «Ho —R(0, 89) (QM40cR»). 
由 假设 3 知 , 存在 0, 使 得 Lug. doAPG 


o<| [Ro— R(0, 5,148 
dil xad -v(à-6)]p(z— 6|y)do | 


一 Jafa [w(z) —w(8,—--z)]p(z|g)dz 


一 一 一 一 -一 一 -一 -一 和 e 





a ffarf def ii | dy | def dz 
lzi «1/2 Iz—zI«t 1/2 «i121 «3101/2 jy 一 Y ei 


+ 亿 | „df TEE dz} [w(z) — wl w+z) jp(2|y) 
eI +a +1s(D). | (7.7) 
根据 假设 2, A 


I; O< faf do| w (2) pz|y) dz 
<ja cna w(z)pte | y) ues 
== gpl? dof s w(z)p(z|y)dz 


<4r ja lal) ply) de 20 (BI). 
e (7.8) 
a 2 farf aa daf s. [w (2) UM (à— a z)]2»(2 | y)dz 


Izi > 31/2 


«jor, 2], OCD 


= 41g la» | " w(z)p(zl y) dz | 


i211 | 
<a farf also)plely) de 0 Qui. (7.9) 
” 另 一 方面 ,由 假设 3 的 3.4 知 5 / 
h> jo» | Mr dof w- z--z)p(z|g)dz 


—0 (ilo), | (7.10) 
Wt A) =o). 而 E 
LQ«[o[ a up P | ply) de 2 Ra. (7.11) 


由 于 在 (z, 9) 变 量 空间 中 , z 是 最 优 同 变 佑 计 , 而 当 固 定 时 ， 
8(z, 急 一 2 十 ?也 是 同 变 估计 , 故 


[twi- ez) -wepaly (T.12) 
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对 任意 的 z、y 成立， 所 以 | 
了 (人 会 :一 (四 | daf [w(z) — w(8,—2-4-2)]9(2|y)d270, 


[zi «1/2 


(7.13) 
pg IO BEAUX 1BBIBIEREEM, 根据 (7.7)， 
I(l) — — A4) - &() «IsQ)- I8) — AQ). 
再 运用 (7.8)~ (7.13) i, npn E | | 
1(0)-0(B),  IDoI(Q)-o(D. (7.14) 


由 集合 等 式 | 
[Eta] «sto, 1o pt] 
- oci, ji lel } 
iP noa | 
x | {we) —w (ot+o)}p(2|y) d] : 
+f „dof oo (m) wr o2 pzly) de 
t/2<isi<3t/2 Ist> 1t—lohl | 


2l ! 
«pal 2K (1t— [e] |) 
i i/2«121«3t/2 


x [Lo (ww (By —2--2) -w(s)p(s|g)ds] dæ | 


«aj aea de ja] [w (Be 23-8) —w(z)]p(2 9) el 
| 


«el. s de jae| [w (Bu — idi z) " pe | y)dz P 


«l|... te tv [te Gn - o2 ucc 


1/2 
— mE fav [w(8,— estz) —w(z)lp(z|g) dz} 
= c, [ (I (6) -I Œ], e (7.15) 





Te 


as min(21,2Izl) d 
" Ij... rp df Ki le IDa) : 


«:2(8m05)17? —01« co. 
注意 01 为 有 限 数 , 且 与 无 关 ( 还 可 看 到 当 维 数 T8 Bp, os 就 不 是 
有 限 的 了 ， 说 明 3 维 以 上 的 位 置 参 数 最 优 同 变 估 计 多 数 是 非 容许 
的 )， 以 上 在 证 明 (7.15) 中 第 二 个 不 等 式 是 利用 假设 4 第 三 个 不 
等 式 是 采用 积分 换 序 及 假设 3.3); 第 四 个 不 等 式 是 利用 Schwarz 
不 等 式 ; 第 五 个 不 等 式 是 用 假设 3.3. 
Pit p (7.14) gi (7 15) $, 对 任意 的 1>0， FE HEV N 
上 < <21, 使 
I(6)—I® a) 2 *Q 0 -o()? 
> IN +A. (7.16) 
IORA, 将 上 式 两 边 除 以 TCD 即 知 I(60)/I() 也 趋 于 无 穷 
BD £dE lo, 34 Ils 时 ， | 
I(0)/I(D26, I(6)26*I(h) (n-1,2, +). 
这 与 (0) -O(P) FJ, 故 IO RR. 将 (7.16) 两 边 对 Loo 取 极 
BR, 立即 得 出 7CD)->0( 当 7>co)、 前 已 知 I(0) 之 0 且 非 降 , 故 TO) 
一 0， 从 了 (1) 的 定义 (7.18) 式 看 ,注意 (7. DRR, 故 可 知 lw| «c 
1/2 时 ,有 
[twC8—w+s) -(2)]p(z|y)dz— 0, &. 8. PX L. 
再 由 假设 1 最 优 同 变 估计 的 唯一 性 ;就 得 到 
0 一 2 十 2 一 为 8. 83. p(z|y)dzdv 
zz] «1/2 E (s, y) s, a.8.v， 由 假设 3. 知 
öle, y)-8(m, y) (I>) a. s. p(z| y)dedv,. 
M B(m, y) =x, a. s. p(z|y)de dv, 因此 Bo(v, D=o EENEN, 


定理 证 完 . 
定理 7.2 Fi w)= |i =t, 存在 一 个 同 变 估计 ò: 使 
Eo(18;]^ lHog]àj] |***) «eo (870), (7.17) 
则 最 优 同 变 估计 是 容许 的 . E 
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证 [2]? 是 严 凸 函数 ,可 得 存在 唯一 (a. g) 的 最 优 同 变 估计 do 
(不 失 一 般 性 ,可 假设 50(%, y) 2). 由 此 及 (7.7) 知 定理 7.1 中 
的 假设 十 2 成 立 . 

UH 9E 9o F, 那么 取 

(ww y) =ò (4 [8] &« B,(D), &(s, y) -0 (4 jèl >B), 
这 里 BU) - AR (y) 4-902, BoC) [kel p Gilde, 
根据 这 样 定义 的 8 就 有 0 

là—6[^«i5—e|? Qu fel «n; 
R(0, )«R(0, )) «Re, (4 [0] «D; | (7.18) 
>ð, a.s.p(z|y)desd», . (7 .19) 
Y [5] «B, OR [5] >B, (m) (im 时 ), 有 | 
[ò — 24-2]? — ]8s — e+]? 
而 ol >B, On, Æ [o] «31/2 下 ,有 


JI cocco) aea re ply) 
<2((5- F) 十 了 人 )<ra@- sima. 


NMEMENMNLLLLODM 


«[iz--5- sip ld .| (T.20) 
(7.20) 中 的 第 三 个 不 等 号 是 利用 Tchebyshev RER ^ — 


a 
| /2 pl y) 4 


>1- R0) B® 81/2)» 3. 


H (7.18) ~ (7.20) 91, EM 7.1 RRR 3.1) 3.3) 成 立 . 
lò- e+]? <3 Iz [*- lo? je) 


<3( lz1°-+183( 3) +32R(y) ) Qu lel 1/2). 
因此 s e d 





[NC 

| <faf a | NE Iz-c189 (3) 837) )eGls)ds 

exmje[ (4 ) (lz 1s D +82Ro(y) zela 

<5527 fof fel *p(z|g)dz "E 
99m Rodz| [2]?p(2|g)dz - 


<5527 | dof leltp(zly)jdz 


4-96z (Jav faispczlyyas) (fav 
-—0 (34 l>); 
上 式 最 后 一 个 不 等 式 是 两 次 利用 Bechwarz 不 等 式 , 而 ->0 是 根据 
假设 (7.17)， 因 此 假设 3.3 RY. 


&  KO=Afæf ie p(elg)de) ^ 
K (0) «2171 log ms [f 中 lelIaoglzlplelo)az ^ 
«consi t^! log- 0 t*/0 -A t>1). 
故 | EWat<o. 
注意 到 人 op(clo)az-o 故 
(Jav[... (Int? 1o n a)l) 
(fs (~—2%'r(y))p oly)ds ) 
=(faf 2%'r(y)p(e]y)dæ) | 
«x faf n, Ioela) (fafi Peela ) ^ 
-KC) {faf detr- alpea}, 


izi>:/2 


[zl ‘pzlg) daz) 
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故 (7.5) 成 立 ， 同 理 (7.6) 式 成 立 ， 至 此 已 验证 定理 ”.1 的 全 部 假 
设 都 成 立 . 因此 最 优 同 变 估 计 是 容许 的 . 

推论 Xp X—N( Ia), LER, JU e 是 在 平方 损失 下 1 的 
UE 


问题 与 习题 


1. $ {X} 为 一 串 相互 独立 的 随机 变量 ，X 一 二 项 站 布 B(n, pi) (0<p 
<D. 求证 LG, …, Xa) Rp …， Bo) 在 损失 函数 X dO! 下 的 
容许 估计 ，， | 

EZ —d)'/p (A - p) 损失 下 ， 关 于 均匀 分 布 的 Bayes 
minimax 估计 ， 利 用 定理 1.5. | | | 

à. ERUR o , XO AASMA Ds pu s pds PG 

s Xen) m LL peg. 此 处 Sir=n (9, 239-1 (0<p 
x1) 试 证 : a hii 

D ARABA -ads 则 — o (xi Ys s, a e Vy 
AE en 的 容许 minimax 估计 — 

[提示 : 取 先 验 分 布 密度 为 a (2s …， pe m. 

”1) 车 损失 函数 为 Sa-a) p p, RI Eu, s XAR … 

Dy) 的 容许 minimax ftt. 

[提示 : 取 先 验 分 布 为 Sel m—— 

3. 试 求 超 几何 分 布 pe | 

exeo Pa 

EPIR c L(a 3D) - (a /MN-M) 下 的 容许 minimas f& i 
(sug LO, 0-10, D ry). 

[提示 : 用 先 验 分 布 




















PS N—m T(a4-b) E 5—1 
£(M= Tm — Jea- y BODE 1(1—-6y-14ó 


选择 适当 的 a. b, 使 风险 函数 为 常数 , 求 出 Bayes 估计.] 
(004. 令 卫 有 负 二 项 分 布 NBCp, v), 0<p<1, v>0 已 知 , 其 概率 


ram dv) pn)” TS 
peces SEHE M p)" (z—0,1,2,---). 


i) WUGEE,. X ABL E n aX+b 是 容许 的 ? 在 0 xpo xp 
<1 限制 上 给 出 一 容许 估计 .: 

iD 车 Bp 的 先 验 分 布 为 Beta Ad B(a, b), 试 求 其 Bayes 估计 ， 此 估计 
EBAY? ph ME 有 是 广义 Bayes 估计 吗 ? 是 minimax 估计 吗 ?” C 

5. 4 Xo Xy, …, Xn 为 1 个 did, 随机 变量 , 它 有 共同 密度 函数 f, a) 
49-9 (M a«r«e) f(z, a)=0, (HE). 求证 ME 是 平方 
损失 下 的 容许 minimax 估计 . 

6. 4 Xd Idi g(03, v), v>0 已 知 求 9 在 平方 损失 下 的 容许 
minimax 估计 ,以 及 限制 6>% >0 下 的 容许 估计 . 

T. 车 XX, Xs …，X 是 iiad 随机 变量 , 具有 极 值 分 布 , 密度 为 f(z 一 9) 
(9e RB!) 此 处 f(z)=exp{ 一 z 一 中 ， 试 证 明 Ploxp(— m) "nde 
估计 (平方 损失 )， 当 损失 函数 为 工 (er d) - (à- e 9)e* 时 ， 此 估计 是 
minimax i? 

" ^8. 考虑 logistie 分 布 误 , 密度 函数 为 
f(x, 0) -exp( — (z—6))/ (1-FexpC- (z—0)))?, 

i) 决定 9 的 Pitman 估计 , 它 在 平方 损失 下 是 否 容许 ? 

i) 在 损失 函数 LO, 4) =a(9 一 4)-+b(0-d)+ (a>0, D=O TINAN 
minimax 估计 是 什么 9 

9.* 车 万 维 随机 向 量 久 有 非 退化 的 有 限 的 协 方差 阵 4>0, 1E [d - EX? 
Tox BX E EX 在 线性 估计 类 中 为 容许 的 充 要 条 件 ( 参 考 [23]). 

10.* Æ X~N (u, Ir) (5-1), ER, o>>0 紫 未 知 ， 试 求 出 0 在 平 
方 损失 下 ， 二 次 型 估计 X'BX B>0) 在 二 次 型 估计 关中 是 容许 的 充 要 条 件 
(参考 文献 [30]). 


11.” 试 证 明 在 X^N (n, I), Lu, d)— OR dj)*e^ F, ÄH k>2 时 ， 


z AA 的 非 容许 佑 iT XBrown), 
[提示 ; 用 恒等式 


Ela- p) ga) = E( -2 ga), 


è 482. 





Peng(z) =E exp[ nti) -e)s 
此 处 = (0, …0, 1, 0,…0)'， 即 在 第 i 个 坐标 为 1， 其余 为 零 的 向 号 ， 以 
此 证 明 Ü,— mb cer“ Meu (i1, 2, dg k), 0xo«2/e? fa. ] 
12.* Q an ms cs mr 为 相互 独立 的 随机 变量 ， 且 zu~Poisson 4) i 
PQ4) o 2), ERERKEN A-A? u ZF am (y i mi 


(£22) ZE A O4, 7-5, AD 的 容许 估计 . 
[提示 : 用 恒等式 Eg (2)/A,— EL g(z - e/ Cr, -- 1) E UuEBÀ 


&-[1-e; 3 Geo) E 
一 致 优 于 z, 此 处 0<ce<2(z 一 D.1 | | 
13. 若 随机 向 量 Xo Xo c, Xe 彼此 独立 , Xo 有 密度 函数 Fs -0:, 
且 满足 定理 3.2 的 条 件 , 记 6, 依赖 于 z, 的 Pitman 估计 为 0,2) (—1, 2, 
k). Wl 6(z) = (i(z2, 7 0 Gr)! 在 损失 函数 


bass )8(0,— d? (r1) 


下 , 它 是 0= 《04 … y 0 的 容许 估计 ， 问 需 NARRER r=1 i 8) 
也 是 9 的 容许 估计 ? 
[提示 用 定理 1.5, 参考 文献 [9， i)].1 
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